Google、Red Hat、IBM 推出 llm-d 1.0，一個基於 Kubernetes 嘅開源分佈式 LLM 推理棧，主打同一個 stack 同時管 TPU 同 GPU 兩種芯片嘅推理路由。

新功能包括多租户流量控制、零停機升級、同 agent-aware routing，可接 vLLM、SGLang 兩個推理引擎。

簡單講就係將「邊個 request 去邊塊卡」呢個問題，由人手調度變成系統自動處理。

模姐驗嚇貨：呢個係廠商嘅產品發布，並非獨立測試；「zero-downtime」同「cache-aware」實際表現如何，要等第三方數據先至有講頭。而 TPU 同 GPU 混合部署喺企業實際嘅採用程度，先至見真章。

來源：MarkTechPost（2026-10-20）

模姐｜深度調教