2026年，中國獨立第三方算力運營商是石科技（METASTONE）喺「2026 CCF全國高性能計算學術大會」期間發佈咗一個叫TokenFleet嘅分佈式調度框架。呢個嘢唔係新模型、唔係新晶片，而係將已經部署好嘅GPU推理服務喺集群層面做更聰明嘅資源調配。

TokenFleet點樣工作

框架有三個核心模塊，各有分工：

  • TokenPilot 負責同一模型池內嘅實例選擇。佢唔係簡單按請求數量分流，而係同時計算KV緩存（Key-Value Cache，即處理輸入時暫存中間結果嘅快取）嘅復用收益同排隊代價。一句短問答同一份長文檔，計算量同顯存佔用可能差好遠，單純數請求數根本平衡唔到實際工作負荷。
  • FleetMind 面向跨機房容量協同。當某個機房熱點排隊，佢會評估其他機房係否有同版本模型的就緒端點、係否仍有服務餘量，先判斷有冇必要做分流。
  • SLOMax 管混合負載嘅准入、分池排隊同容量分配。不同任務——即時對話、長上下文處理、離線批量——有唔同服務等級要求，一齊塞同一隊列就必然互相擠壓。

數字背後嘅問題

公司喺大會講演材料中提供咗一組以GLM5.3模型喺特定顯卡集群與負載條件下嘅調優數據：

  • 採用預測延遲路由後，P95首Token延遲降低32.4%，P50首Token延遲降低71.3%
  • 採用流控協同調度後，總輸出吞吐量增加約1.5%，達標輸出吞吐量提高約29.4%，達標比例由約67%升至約86%

呢組數字有一個重要限定：全部來自是石科技嘅大會演講材料，公司本身亦標明呢啲屬「收益測算示例」。換言之，呢啲唔係獨立第三方評測，亦唔係本站實測。數據背後嘅具體測試負載定義、樣本量、基線配置同測試時長，公司喺目前公開材料中未作披露。

公司背景

是石科技定位為不綁定任何特定大模型廠商嘅全棧算力服務商，提供硬體、組網、調度、優化同運營一站式交付。公司聲稱已納管超過20000P+嘅算力資源，運營10多個超智算中心（其中2個國家級），算力集群運行SLA達99.95%以上，團隊成員曾獲3項戈登·貝爾獎。

佢哋此前已發佈過Meta-Infer高效推理引擎，針對單一推理實例嘅執行效率；TokenFleet則將優化層級拉到集群調度。

模姐驗嚇貨

講老實，呢個產品係一個有實際工程價值嘅調度框架，唔係那種「全球最強」式公關。但廠商自評數據喺無獨立複現之前，就係廠商聲稱，唔好當技術結論。P95降32%、P50降71%呢啲數字聽落靚，但喺冇測試細節、冇對比基線、冇第三方驗證嘅情況下，讀者應該將佢哋視為「公司話佢哋嘅產品可以做到呢個數」，而不是「呢個數已經被證實」。

GPU有多忙、總吞吐量有多高，同最終合格交付之間，仲有距離。呢個距離，係獨立測試先填得到。

模姐｜深度調教