vLLM 官方博客（2026-10-29）宣佈對 Mistral 新旗艦模型 Mistral Large 4 提供「day-0」支援——即模型發布當日，推理引擎就已可以跑。呢個對於部署團隊嚟講係關鍵：你唔使等數星期甚至數月去等推理引擎補齊模型特定嘅 kernel 同量化路徑。

呢個模型大冇大

先講架構。Mistral Large 4 係 Mistral 嘅新前沿模型：Mixture-of-Experts（MoE，混合專家），原生多模態，內建 Pixtral 視覺編碼器處理圖片。注意力部分用 DeepSeek 式嘅稀疏注意力堆疊——MLA（Multi-head Latent Attention，多頭潛空間注意力）加上 DSA top-k 索引器，每個 query 只選 top 2048 個 key。

規模數字：72 層 MoE、128 個路由專家（top-4 激活）加 1 個共享專家、hidden size 6144；總參數 1 萬億，每個 token 實際激活約 490 億（520 億連 embeddings 同 output 層）。呢個數據點本身冇乜驚奇——MoE 已經係 2026 年旗艦模型嘅標配——真正有意思係佢點樣部署。

量化：官方提供 FP8（block-scaled weights）同 NVFP4（NVFP4 experts + FP8 attention/shared experts）兩套 checkpoint，兩者預設都用 FP8 latent KV cache（fp8_ds_mla）。

點樣跑得動呢個嘢

支援 Mistral Large 4「唔止係寫個模型檔案咁簡單」——vLLM 話明佢哋同陣同時對通用底座做咗改善：decode context parallelism（DCP，解碼端上下文並行）、prefill context parallelism（PCP）、DSpark 投機解碼（speculative decoding，一個小模型「試答」令大模型一次驗證多 token）、NIXL 分離式推理（prefill/decode 分離）、HiSparse host-memory KV offload。

關鍵效能數字：

  • DSpark 內建草稿器（3 層 sliding-window MLA，depth 3）每步約接受 2.9 token，TP8 下輸出吞吐約 2 倍
  • DCP 令 TP8 嘅 KV cache 容量約增 7.9 倍；PCP+DCP 合用，TTFT 最快縮短 1.6 倍
  • NVFP4 喺 TP8 解碼每 token 比 FP8 快 1.08–1.19 倍（開 DSpark 係 1.18–1.22 倍），KV cache 約 1.5 倍

NVFP4 喺 Blackwell 可以只使 4 張 GPU（8 卡要用 --tensor-parallel-size 8）。NVFP4 量化呢個尺寸嘅模型跑喺單節點係真嘅部署門檻改變。

AMD 方面，vLLM 同時宣佈 AMD Instinct MI350 系列 GPU（ROCm） day-0 支援，包括 DSpark、圖片輸入同 MXFP4 experts 嘅 expert parallelism。呢個唔單止係「跑得」嘅事，係對 NVIDIA Blackwell 嘅硬件多元化訊號。

部署方式

支援收喺 vllm/vllm-openai:mistral-large-4 Docker image（內含 mistral-common 1.13），透過 vllm serve 啟動；多節點、分離 P/D 同其他已測試配置見官方 recipe。

NVFP4 量化嘅品質代價呢？vLLM 稱喺多模態、長上下文、agentic coding、business automation 同 cyber 評測上，NVFP4 同 FP8 差距平均 −0.3 分，每項任務差距唔超過 2.1 分；平均 completion tokens 同 FP8 差約 4%。呢個係廠商自報數字，未獨立第三方核實。

模姐驗嚇貨

模姐想問三樣嘢。

第一，vLLM 呢篇 announcement 嘅效能數字——2 倍吞吐、7.9 倍 KV 容量、1.5 倍 cache——邊個獨立核實過？NVFP4 同 FP8 差距 −0.3 分，佢哋自己跑緊嘅 eval，樣本量、具體 prompt 集、任務定義、測試日期全部要睇到先算數。廠商 benchmark 唔等於獨立驗證，呢條鐵律唔會因為模型幾靚就鬆手。

第二，「day-0」到底係幾「0」？呢個詞喺產業裡面被濫用到失焦。模型文件出爐當晚 vLLM 就 ready，仲係 vLLM 等咗幾日先到？呢篇文冇交代。等幾日同「day-0」唔係一回事，但佢哋都叫做「快速支援」。

第三，NVFP4 4 卡 vs FP8 8 卡呢個部署路徑改變點？NVFP4 只係 Blackwell 有，Blackwell 未買、或者 AMD 陣營嘅部署商有冇對應？NVFP4 呢條路徑同 P/D 分離、DCP 長上下文組合嘅實際端到端延遲同吞吐，vLLM 呢篇冇拆開講。

呢篇文章係官方技術公告，唔係獨立評測。讀者如基於 NVFP4 4 卡呢個配置做採購決策，要有自己嘅獨立基準線。

模姐｜深度調教