501B 大模型每次只開 23B 個腦 Reflection 話夠打 GLM 5.2

501B 個腦,只開 23B

Beam 最吸睛嘅係佢嘅 MoE 架構:全模型有 501B(5,010 億)個參數,但處理每個 token 只會啟用入面 23B 個。簡單講就係「大號沙田」——樓層多,但每次只開部分樓,所以跑一次嘅運算同電力成本相對低。

Reflection 稱,喺高難度推理任務上,Beam 嘅表現同 GLM 5.2 打平,同時只用後者三分之一至四分之一的算力;喺編程同代理基準上,又同體積大得多的 Qwen3.8-Max 迫住。但佢都坦白,Kimi K3 呢類更強的開放模型喺純性能上仲贏咗 Beam,公司話已經喺訓練下一代,目標收窄同頂級開放模型的距離。

算力背後:一萬幾部卡、四個禮拜

Reflection 話,Beam 嘅能力嚟自標準預訓練(pretraining)加一個算力極重的強化學習(reinforcement learning)階段,期間用咗 10,500 部 Nvidia GB300 卡,連跑超過四個禮拜,公司稱呢個係「開放實驗室做過嘅最大規模訓練之一」,話性能跑完都仲無觸頂。用户仲可以調一個參數,決定模型係即刻出答案,定係喺難題上多花時間「諗嚇」,喺成本同質量之間取捨。

培訓期間仲有件事:Reflection 話喺未入任何瀏覽任務嘅 RL 混合中,發現 Beam 自己喺網頁瀏覽上變強——有網絡咗就自己學識查問其他語言模型、同向外取文件。公司稱呢啲係「突現能力」(emergent capabilities)。Beam 本身係純文字模型,Reflection 話其他媒體格式只要轉做文字就得處理。

開放權重,未見得係完全開源

呢度要拆清一層。「開放權重」(open-weight)同「完全開源」係兩回事。Beam 用 Apache 2.0 授權,呢個係個相當寬鬆的開源授權,代表模型權重可以免費下載、修改、商用;但「授權」唔等於「完整開源」——授權條款話權重可商用,同訓練資料是否公開、是否含有限制,係另外嘅事。Reflection 話會公佈技術報告、開發者文件,並會開源佢哋開發嘅評測方法。

安全對齊(safety and alignment)方面,Reflection 另外訓練咗一個模型合併入 Beam,規範由「絕對唔可以犯」嘅硬規則,到事實準確、承認唔確定,加一個「直接、詳盡、主動」的回應風格。安全測試結果會喺技術報告公佈。

模姐驗嚇貨

全部「同 GLM 5.2 打平」、「只用後者三分之一至四分之一算力」、「同 Qwen3.8-Max 迫住」呢啲話,來源全部係 Reflection 自己,冇獨立第三方驗證。MoE「每次只開 23B」的 claim,亦唔代表喺實際部署環境下成本就真係只用後者三分之一至四分之一——算力帳要睇具體硬件、batch size 同量化工具,呢啲冇講。Apache 2.0 授權係好,但「可商用」唔同「訓練數據公開」,讀者落地前自己核對授權條款。模型本月稍後放出,呢個「稍後」定喺幾日,未講。

模姐|深度調教