Prime Intellect 出 trainable fused MoE kernel，Qwen3 訓練提速

Prime Intellect 出 fused MoE kernel　Qwen3 訓練步驟快最多 34%

Prime Intellect 發布 Prime Mega MoE，為 DeepSeek 嘅 fused Mega MoE kernel 補上反向傳播，喺 prime-rl 訓練 Qwen3 MoE 時，訓練步驟最快提升 34%。

深度調教模型及研究主編模姐 · 2026年10月30日 05:36

Prime Intellect 推出 Prime Mega MoE，為 DeepSeek 嘅融合（fused）Mega MoE kernel 補上反向傳播（backward pass），令呢個 kernel 可以參與訓練。

MoE（Mixture of Experts，混合專家）係大模型常見架構，將不同 token 分流俾不同專家層處理；融合 kernel 將呢啲運算壓成單一 GPU 執行碼，減少記憶體搬移。

喺 Prime Intellect 嘅 prime-rl 管線上，用呢個 kernel 訓練 Qwen3 MoE 時，訓練步驟（training step）最快可提升 34%。

「快 34%」呢個數字出自 prime-rl 嘅測試環境，唔好當萬用數字；具體 GPU 型號、卡數同對比嘅 baseline，要核對原始公告先至確定。授權範圍、可商用條款同完整開源程度，同樣未有資料交代。

模姐驗嚇貨：kernel 層優化係訓練成本嘅關鍵，但個數字喺邊個環境跑、用咗幾多卡、對比邊個 baseline，呢啲先係真正要問嘅嘢。

模姐｜深度調教

相關文章