vLLM 團隊 2026 年 10 月 20 日發布 vllm-torchtpu，一個專門跑喺 Google Cloud TPU 嘅 vLLM 新後端。佢建喺 Google 嘅 TorchTPU 堆疊之上，直接運行 vLLM 入面已有嘅模型定義，代表而家喺 vLLM 度跑緊嘅大部分模型，唔使改模型代碼就搬去 TPU 服務。
呢個項目出自 Inferact 同 Google 上月公佈嘅工程合作，目標有三個：透過重用 vLLM 現有模型代碼，降低新模型上 TPU 嘅門檻；以開源方式推動 TPU 推理效能，用 Pallas kernel（JAX 生態系統嘅高性能 kernel）優化 attention、Mixture-of-Experts（MoE，專有專家混合架構）同量化矩陣乘法；保持 vLLM 原有體驗，同一 CLI、OpenAI 兼容 server、scheduler 同 KV cache manager。
點樣運作
vllm-torchtpu 係一個 out-of-tree 嘅 vLLM platform plugin（樹外插件），裝完透過 vllm.platform_plugins entry point 自動被 vLLM 識別。模型經 vLLM 標準 model runner 運行，用 torch.compile(backend="tpu") 編譯，lower（降低）到 XLA。每個 TPU 裝置都有獨立 worker process，同 vLLM 喺 GPU 嘅做法一致，裝置間通訊經 torch.distributed。Scheduler、worker、KV cache manager 同 API server 全部係未改動嘅上游 vLLM；TPU 特設工作喺底層，主要係註冊為 custom ops 嘅一組 JAX/Pallas kernel，喺編譯圖（graph）內被呼叫。
部署同 kernel
安裝需要 Python 3.12 同 Cloud TPU VM，會同時安裝對應版本嘅 vLLM、torch、torch_tpu 同 libtpu；安裝指南亦涵蓋 uv、source build 同 Docker。首次啟動會編譯 TPU graph，要幾分鐘，可設 VLLM_XLA_CACHE_PATH 喺重啟時重用編譯產物。Speculative decoding（推測解碼）、prefix caching、multi-LoRA、structured outputs 同多模態輸入都用現有 vLLM flag 啟用。
自訂 Pallas kernel 針對 TPU 手調優化，包括：MHA/GQA 嘅 Ragged Paged Attention v3；DeepSeek、Kimi、GLM 用嘅 MLA（Multi-head Latent Attention）稠密同稀疏版；混合線性 attention 模型嘅 Gated DeltaNet 同 Kimi Delta Attention；帶專家並列嘅 fused MoE；FP8、INT8、MXFP4、NVFP4 量化 matmul。
擴充同 KV cache
官方指團隊特別著墨於對 serving 壓力最大嘅多輪 agent 同多模態流量。vLLM 全部六個並列維度喺單機同多主機 TPU slice 上都支援，而且可以組合。大 MoE 模型通常用 data-parallel attention 配 expert parallelism（例如單個 v7x host 上 DP=8、TP=1 加 EP）得到最佳吞吐量；長上下文用 PCP 同 DCP 將 prefill 同 KV cache 分攤到不同裝置。KV cache offloading 同 disaggregated serving（分離式服務）用 TPU Sync——一個可喺 Python runtime 之外直接讀 TPU 裝置 buffer 嘅開源 C++ 庫。
模姐驗嚇貨：呢個係廠商自家發布嘅技術公告，冇獨立第三方實測，冇效能數字，亦冇同 GPU 後端嘅對比數據。想知 TPU 同 GPU 邊個快，要等獨立評測。
模姐｜深度調教
