NVIDIA公開咗喺單一DGX Spark上加速MoE(Mixture of Experts,專家混合)模型推理嘅三項疊加最佳化。

以Ant Group旗下inclusionAI嘅124B參數Ling-3.0-flash做示範,三招用埋之後喺GSM8K數學推理測試集上,decode吞吐上升42.5%,準確度無可檢測變化。

模姐驗嚇貨:呢組數字全部由NVIDIA自己出,唔係獨立第三方實測。三項具體係邊三招、測試環境、prompt同樣本量,佢哋文章冇逐項披露;廠商自評同本站實測係兩回事,要留低呢層距離再睇。