今個星期頭，喺聖荷塞 PyTorch Conference North America 前夕，由 IBM 聯同 Red Hat、Google 等主導維護嘅開源專案 llm-d 正式推出 1.0 版本。呢個係一個建於 Kubernetes（雲端容器編排平台）之上嘅分佈式 AI 推理（inference，即模型對用户請求作出回應嘅環節）框架，1.0 版重點加咗營運控制，幫企業喺自己嘅基礎設施上穩定運行大型模型。
講到班大佬：IBM、Red Hat（IBM 旗下子公司）同 Google 係主維護者（lead maintainers），去年同 CoreWeave、Nvidia 共同創立呢個項目。其他貢獻者仲包括 AMD、Cisco、Hugging Face、Intel 同 Mistral AI。
1.0 加咗乜？官方話主要三樣：多租户（multiple tenants）品質服務（QoS）、零停機（zero-downtime）升級，同專為 AI agent（會自動執行多步任務嘅 AI）設計嘅流量調度。重點係想確保 agent 嘅突發請求（例如一個 agent 同時向同一個模型 endpoint 發出大量請求），唔會壓過人手編程助手呢類需要快反應用户嘅服務。
技術上，框架可以將 agent 嘅多輪請求（同一個 agent 反覆引用同一份文件或對話記錄）持續指向已持有相關 cached context（緩存上下文，已處理過嘅對話狀態）嘅副本；另一個能力係喺 GPU 記憶體、CPU 記憶體同儲存之間搬運 cache，當 GPU 容量吃緊時保留可重用資訊。呢啲技術其實之前已存在，1.0 嘅賣點係將佢哋同營運控制整合埋。
IBM Research 首席科學家 Ruchir Puri 喺電郵回應中稱，喺量子糾錯硬件設計等計算密集工作上，開放大型語言模型配合 llm-d 可大幅降低推理成本，「幫助實現 11.8 倍效率優勢」。呢個數字係 IBM 自述，並非獨立第三方評測。
呢個項目嘅定位係俾企業一個選擇：想削減推理成本、想自己揀硬件平台，都可以少依賴單一模型供應商、雲端或硬件。但要注意，「運行喺自己基礎設施」唔代表完全自主——呢個框架嘅生態圈仲有 Nvidia GPU、Kubernetes、各貢獻商嘅技術，實際部署會涉及一籃子依賴。
模姐驗嚇貨：11.8 倍係廠商自報，未有第三方複測；而「減少依賴單一供應商」呢句話，同樣係 IBM 嘅表述，未見獨立分析。開源推理框架嘅真正價值，最終仲要睇有冇人敢將佢用喺關鍵業務上。
來源：SiliconANGLE（2026-10-20）
模姐｜深度調教
