Together AI 喺 2026 年 11 月 4 號透過 Bizwire 發新聞稿，宣佈推出 Together Compiler——一套由多組 AI agent（AI 代理，即能自主執行任務嘅程式）組成、自動重寫推理引擎底層 GPU 程式碼嘅系統。官方話，新開源模型唔再需要幾週人手調校，而係過一夜就自動達標，並聲稱最高將推理速度（以 tokens per second，即 TPS 計量）提升至人手專家手寫 megakernel 嘅 2.6 倍。

廠商點樣講

按新聞稿，Together Compiler 喺 SemiAnalysis 嘅開放推理基準 InferenceX 上，對 Kimi K3 達到 1.5 倍、GLM 5.3 達到 1.4 倍嘅最高吞吐量；對 Llama 1B 喺 NVIDIA H100 同 B200 上，各輸出長度均快過手寫 megakernel，最高達 1.7 倍、突破 2,100 TPS。喺 B200 上 MiniMax M3.1 Flash 達 1,111 TPS（1.8 倍基準），喺 GB300 上 DeepSeek v4.1 Flash 達 1,205 TPS（1.3 倍基準）。

新聞稿提到，Together Compiler 嘅新設計將 agent 迭代速度提升 252 倍（對比其他用 agent 優化推理嘅系統），現有系統每次編輯需最長 15 分鐘驗證，而 Together Compiler 喺 24 小時內即完成最佳化並可直接上線，現正處理每日萬億級別 tokens。

Phonic 聯合創辦人 Moin Nadeem 引述稱：「運行 Together Compiler 令我哋中位首字延遲減低近 50%，而且係一夜之間發生。」

Together AI 研究 SVP Dan Fu 就指出：「今日嘅推理系統只發揮 GPU 實際能力嘅一部分，而每次新模型或新晶片出現，呢個缺口又會重新打開。」

模姐驗嚇貨

呢次數據全部來自廠商自評，未有獨立第三方重現或驗證。252 倍迭代速度嘅基準對照係「現有系統」，冇列明邊間公司嘅邊套系統，具體對照條件唔透明。

呢套嘢真正值得追嘅，係 Together AI 話 Together Compiler 係一個名為 Polymorphic Inference 嘅更大計劃「第一步」，該計劃被描述為「推理流程嘅遞迴自我改進」。AI 寫 GPU 程式碼本身已經係自動化；但「遞迴自我改進」究竟邊度算底線、點樣設安全閘、有冇人工審查環節，公司冇講。呢個先係真嘅問題。

模姐｜深度調教