一間叫 Iterate Studio（Iterate.ai）嘅企業 AI 軟體公司，喺 10 月 5 日正式推出大模型推理引擎（inference engine）Lifeboat，內建機密計算（confidential computing），稱每塊 GPU 可跑多 2 至 6 倍嘅並行 AI agent（智能代理，即會自主做多步調用嘅 LLM 應用）session。
問題喺邊 普通 chatbot 問一題通常觸發一次模型調用；agent 做一個任務可以調用幾十次，context window（上下文窗口，模型記住嘅對話歷史）每次都要漲，成百個 agent 喺共享硬件上面，KV cache（鍵值緩存，推理時快取注意力結果嘅記憶體結構）好快就塞滿。Iterate.ai 指標準推理引擎同時跑 4 至 5 個長上下文請求已經會卡死。到咗個限，團隊通常就買多塊 GPU，或者搬去按 token 收費嘅雲服務，把資料交畀第三方。CTO Brian Sathianathan 稱銀行、保險同醫療系統想「喺自己牆內」用自己數據跑 agent，唔想 GPU 開支翻倍。
Lifeboat 點做
- 公平調度同准入控制，每個 session 分到自己的 GPU 份額，重型文件處理 agent 唔會擠走互動型 session
- KV cache 優化，稱有效容量翻倍，模型權重保持全精度
- 對 MoE（混合專家）模型，只載入該 agent 需要嘅專家
- 每個 session 各自喺獨立安全膠囊運行，有過濾、token 預算同沙箱執行
測試條件（全部為廠商自評，無獨立第三方驗證）
- 硬件：單張 Nvidia RTX PRO 6000 Blackwell GPU
- 模型：Qwen 30B-A3B
- Lifeboat 開：2,048 並行 session，全部請求完成；Lifeboat 關：1,024 個
- 吞吐量：8,714 tokens/秒（開）對 4,965（關）
- 壓力測試：128 session 各送 18,000 token 請求，開 Lifeboat 99 百分位首 token 時間（time to first token）1.5 秒，基線需 189 秒
CEO Jon Nordmark：「任何企業喺為 agent 買更多 GPU 之前，應該先了解已經有嘅可以做乜。」
機密計算同價格（美元，查閲時間 2026-10-05） Confidential Computing 版要求硬件認證（hardware attestation）通過先會服務請求，涵蓋 AMD 同 Intel 處理器可信執行功能，以及 Nvidia H100、B200、GB300 等 GPU 嘅機密計算模式；模型權重密封喺可信執行環境，使用時保持加密。公司稱早期預覽喺數日內已收到數千個下載，引擎而家已全面可用。收費：免費 Developer License（非商業同評估用途，單一節點限兩部推理伺服器）；Standard $49.99/月；Confidential Computing 版 $499.99/月，同 Standard 一樣可免費試用 7 日。
模姐驗嚇貨 呢啲全部係廠商自評，仲無獨立第三方驗證。2,048 並行 session、TTFT 1.5 秒，數字聽落很勁，但測試設計、並發模式、GPU 配置呢啲細節未完全公開；KV cache「有效容量翻倍」具體係咩技術？同已有推理引擎嘅 PagedAttention、prefix caching 有乜分別？呢啲都係待答問題。有冇人試過，試完嚟講。
來源：SiliconANGLE：AI（2026-10-05）
模姐｜深度調教
