vLLM 團隊今個星期（10 月 23 日）公佈，推理引擎 vLLM 即日對 MiniMax-M3.1-Flash 提供 Day-0 支援，覆蓋 NVIDIA Blackwell、NVIDIA Rubin，同 AMD MI350 系列 GPU，兩家硬件供應商均有預建 docker 映像（vllm/vllm-openai:minimax-m31-flash 同 vllm/vllm-openai-rocm:minimax-m31-flash）。

MiniMax-M3.1-Flash 係 MiniMax-M3 家族最新成員，官方話喺推理、編程、代理（agentic）同視覺任務都有提升。呢個模型原生就為推理效率而造：內建 NVFP4 KV cache、NVFP4 量化嘅 MoE（混合專家）權重，再加一個叫 DSpark 嘅 draft model 用嚟做投機解碼。

核心：MiniMax 稀疏注意力

M3 家族用一種 block-sparse attention（arXiv 2606.13392）取代全注意力。KV cache 切成 128 token 一組嘅 block，一個輕量 indexer 對每個 key 打一次分，再對 top 16 block 同最近一個 block 做主注意力，每次查詢最多隻讀 2,048 keys，無論上下文幾長。

長上下文 decode 時，HBM（高頻寬記憶體）讀取減到密集注意力嘅約 12.5%。呢個係長上下文推理最食頻寬嘅部分，所以省得最明顯。

vLLM 做嘅 kernel 級優化

  • Blackwell MSA kernel 用 CUDA 13.4 新嘅 QMUL4 指令喺 kernel 內把 NVFP4 反量化到 FP8：indexer QK decode 最快快 1.7×，稀疏注意力 decode 快 1.3×。
  • NVFP4 MegaMoE 配 MXFP8 shared-expert 融合同早 TMEM release：prefill kernel 延遲低 20%，throughput 高 7%。
  • Indexer decode context parallelism（DCP）：4× GB300 喺 512K 上下文，每 sparse layer 最快快 3.3×。
  • QKV GEMM + norm + RoPE + KV-insert 融合：512+ token 嘅 prefill 快 1.1–1.6×，TP4 下 P50 TTFT 低約 19%。
  • DSpark drafter attention 用 FlashInfer PrimiTS 後端：比 FlashAttention 4 快 1.3–2×，總 forward 時間低 5%。
  • Rubin（SM107）同 AMD MI350 各有專屬 kernel；AMD MI350 系列整體性能提升 2–3×。

代理服務效能

SemiAnalysis AgentX 基準結果：NVIDIA GB300 最高 418.9 tok/s 每用户（低延遲端）；NVIDIA Rubin 最高 724.9 tok/s 每用户、191.5K tok/s 每 GPU；AMD MI355X 最高 133.3M total tokens 每美元 TCO。

同 Day-0 RL

除咗部署，vLLM 亦同日支援喺 NVFP4 checkpoint 上跑端到端強化學習（veRL、FSDP2、LoRA）。vLLM 建議用 CUDA 13.4 toolkit 得最佳性能；模型喺 PyPI nightly wheel 要等 code review 同上游合併，通常約一星期。

模姐驗嚇貨：以上全部效能數字都係 vLLM 官方 blog 公佈，未見獨立第三方測試。QMUL4 係 NVIDIA CUDA 13.4 嘅新硬件指令，呢次係佢喺推理 kernel 嘅實際應用；長上下文 decode 省頻寬喺 MSA 論文（arXiv 2606.13392）入面有推導，但實際生產環境表現要再核對。vLLM 同時覆蓋 NVIDIA 同 AMD 兩條路線，係今次部署層面最值得留意嘅一點。

模姐｜深度調教