事件

10月16日，第十屆CSDI Summit中國軟件研發智能創新科技峯喺深圳舉辦。商湯大裝置副總裁兼CTO宣善明喺主論壇發表《Agentic時代AI基礎設施實踐與趨勢》主題演講，講咗大裝置喺大規模推理服務領域嘅技術實踐。

需求爆發，但芯片供應跟唔上

宣善明指出，AI應用正由對話式問答，走向多Agent協作同長任務、無人值守執行。呢個轉變令Token消耗呈「千倍級」增長，但高端芯片供應受限、存量算力與推理任務需求唔匹配，算力供應難以同步擴張。

行業數據顯示，2026年推理支出預計佔AI IaaS總支出嘅比重將達55%，2027年預計升至59%。

宣善明：「Agentic時代稀缺的唔係芯片，而係穩定、低成本、高等級持續產出Token的系統能力。」

PD分離：令唔同芯片各做各嘅擅長嘢

大裝置嘅核心做法係PD分離（Prefill/Decode分離）。大模型推理中，Prefill負責處理輸入Token，計算密集型；Decode負責逐步生成輸出Token，需要持續讀取上下文緩存（KV Cache），對顯存帶寬要求高。

PD分離將兩者解耦：由適配嘅國產算力承擔Prefill任務，由高帶寬嘅高階GPU承擔Decode任務，再用KV Cache傳輸連接兩個階段。呢個唔係簡單將唔同芯片「拼埋一齊」，而係圍繞計算特徵、顯存帶寬同任務需求重新組織算力資源。

大裝置喺臨港AIDC建成萬卡級異構推理集羣，喺同一集羣中融合800G、400G、200G唔同規格嘅網絡，保障Prefill與Decode節點之間KV Cache嘅高效傳輸。

AF分離：連Attention同FFN都拆埋

喺Decode階段，Attention負責處理上下文、提取關鍵信息，對顯存容量同帶寬要求高；FFN（前饋網絡）承擔大量矩陣乘法運算，對算力要求更高。傳統架構將兩者綁定喺同一套GPU，可能資源爭搶。

AF分離將Attention與FFN部署到各自主硬件上。宣善明稱，AF分離有望帶來單卡吞吐量提升150%至200%、運營成本降低30%至40%，整體能效提升至兩倍以上。但佢同時強調，「相關收益仍取決於具體模型架構、硬件配置同系統實現」。

性能數字：廠商自述，有待獨立驗證

在特定測試配置下，宣善明稱，通過異構推理與資源協同，喺相同數量嘅高端旗艦卡條件下，整體Token吞吐量可提升至原來嘅5倍。

商湯大裝置平台日均Token服務量已達到6萬億，預計2026年全年Token服務規模將實現25倍增長，第四季度達到日均10萬億Token。

模姐驗嚇貨

「5倍吞吐量」呢個數字，出自商湯大裝置自己嘅演講，喺「特定測試配置」下得出，未有獨立第三方複核。AF分離嘅150-200%提升、30-40%成本降低，佢自己都講「仍取決於具體模型架構、硬件配置同系統實現」——即冇落地驗證。呢個唔係技術路線冇道理，而係數據嘅驗證狀態，同架構本身嘅可行性，係兩回事。

對港人用户嘅關聯

呢度嘅「國產算力承擔Prefill」，喺供應鏈層面涉及出口管制同替代方案嘅現實。Token吞吐量提升如果屬實，長遠上對推理服務嘅成本同延遲都有影響。但就而家而言，呢個仍然係廠商嘅產品敍事，未有可驗證嘅獨立數據支持。

模姐｜深度調教