vLLM 喺 10 月 9 日發表預覽帖，話推理引擎（LLM 推理解釋器）vLLM 已喺 NVIDIA 新一代平台 Vera Rubin NVL72 上面運行，帖文明言呢個只係早期快照。
硬件規格
帖文列舉 Vera Rubin NVL72 對上一代 GB200 NVL72 嘅硬件提升：NVFP4 推理算力 5 倍、HBM 頻寬約 2.4 倍（由 HBM3e 升級到 HBM4）、第六代 NVLink 雙向頻寬 1.7 倍，另外 softmax 用嘅指數運算有 2 至 4 倍提升（FP32 2 倍、BF16/FP16 4 倍）。呢啲數字出自在 NVLink、HBM 同相關規格上嘅廠商資料。
由 Inferact、NVIDIA、Red Hat 同 vLLM 社區自平台公佈後一直聯合推上 NVL72，有每日容器構建，目前支援 DeepSeek、Moonshot AI、Z.ai 同 MiniMax 嘅模型。帖文又話因為 Rubin 建喺 Blackwell 架構家族之上，vLLM 嘅 Blackwell kernel 可以直接兼容，做到 Day-0 支援。
技術細節
透過 FlashInfer 0.7.0，vLLM 獲得 Rubin 調校過嘅 attention、GEMM 同 MoE（Mixture of Experts，專家混合）kernel，並特別為 MiniMax Sparse Attention（MSA）prefill kernel 做咗 Rubin 調校。另外利用 CUDA 13.4 嘅 locality domains 做「locality-aware MoE」，將 MoE 權重拆分，令 SM 只從最近嘅記憶體讀取，充分利用 Rubin 加大嘅 HBM 頻寬。
早期性能方面，喺 AgentX 基準、matched interactivity（相同交互性）條件下，vLLM 喺 Vera Rubin NVL72 嘅每 GPU 吞吐量係 GB200 NVL72 嘅 7.8 倍；喺 MLPerf 基準，VLM 吞吐量最高達 GB300 NVL72 嘅 3.7 倍。帖文強調呢個「只係開端」，預期隨優化繼續會有進一步提升。
模姐驗嚇貨
呢度要留意兩組對像唔同嘅數字：7.8 倍對緊 GB200 NVL72，基準係 AgentX；3.7 倍對緊 GB300 NVL72，基準係 MLPerf。對像同測試集都唔同，唔好混埋。全部性能數字同硬件規格均出自 vLLM 同 NVIDIA 雙方，本站冇獨立實測，亦無條件重現。想跟進一步，留意後續有冇獨立第三方喺相同條件重測。
模姐｜深度調教
