Seattle 嘅人工智能研究機構 Ai2（Allen Institute for AI）10月1日（週四）宣佈推出 Olmo-core 3，一套專為訓練 mixture-of-experts（MoE，混合專家）大語言模型而設嘅開發框架。呢個唔係新模型，而係改善 MoE「點樣訓練」嘅架構。
MoE 同 dense（稠密）模型運作方式唔同：每當生成一個 token（一小段文字，通常係一個詞或詞嘅一部分），MoE 將計算分派畀唔同「專家」模塊，每次只啟用其中一小部分；dense 模型則係每次啟用全部參數。意思係 MoE 可以有遠多於 dense 嘅總參數數量，但每個 token 只用其中一小部分做計算，整體算力需求較低。不過成個模型仍要喺各 GPU（圖形處理器）記憶體入面，專家之間訓練時嘅協調通信亦產生額外成本。
Ai2 話 Olmo-core 3 填補 dense 同 MoE 之間嘅差距，容許專家池由 8 個擴展到 128 個，每 token 仍只選 4 個專家；同一套基建可令 LLM 擴展到超過 1 萬億參數。
白皮書指出三項做法。「專家並行」（expert parallelism）將各專家分散到多塊 GPU，每卡只存部分專家池；模型各層分散到唔同 GPU 組，減少每卡需保留嘅模型記憶體；「分散式 optimizer」將 optimizer 狀態（訓練時計算與更新所需嘅額外數據）分散到多塊 GPU，而唔係每卡存完整副本。三者令模型放大時記憶體開銷降低，唔需要將成個模型同訓練狀態一次性放喺記憶體入面。
此外，Ai2 話框架支援 MXFP8——用更少位數表示部分數值嘅 LLM 數字格式，可減少計算量同 GPU 之間嘅數據移動。
基準方面，Ai2 聲稱喺 Nvidia B3000 GPU 上，Olmo-core 3 對一個 470 億參數模型做到每秒 52,000 tokens；Nvidia 嘅 Megatron-core（訓練大型 MoE 嘅成熟方案）約做到 19,400 tokens/sec，即吞吐量約提升 2.7 倍。
呢套架構係 Ai2 畀研究人員工具訓練更大模型嘅願景一環——萬億參數模型對冇國家級／企業級基建嘅團隊往往遙不可及。Ai2 話 Olmo-core 3 將容許研究者將 MoE 訓練適應唔同硬件，實驗 routing、parallelism 等系統部分，建設新生態。項目同相關系統現已喺 GitHub 提供俾開發者同開源社群。
阿調搞兩下：見到「Olmo-core 3」呢個名，好多人會以為係又出咗新模型。唔係，呢個係訓練框架，唔係模型本身。至於開源——GitHub 上下到嚟用，唔代表完全開源，更唔代表模型權重有公開、可以商用。要真係用，授權條款自己逐字睇清楚，唔好自動假設。
阿調｜深度調教
