Moonshot AI 嘅 Kimi K3.1 Pro 係目前最強大嘅開放權重模型：2.8 萬億參數（激活 104B）嘅多模態 MoE，支援 100 萬 token 上下文，在編程、Agent 同知識基準測試上與最強大閉源模型持平。
vLLM 宣佈對 K3.1 Pro 提供 Day-0 支援，覆蓋 NVIDIA GPU、AMD GPU、Google TPU 同阿里 T-Head PPU。呢次支援嘅核心，係處理 K3.1 Pro 新增嘅稀疏注意力（DSA, Sparse Attention）。
K3.1 Pro 新增咗乜
K3.1 Pro 喺所有 24 層 MLA 注意力層加入 DSA indexer，保留 K3 嘅 KDA + MLA 混合架構。每個 DSA 層嘅 indexer 為每個 token 保留一個 FP8 鍵（132 字節），用 32 個輕量 head 對所有歷史 token 打分，只保留 top 2,048 個 token。MLA 注意力再對呢 2,048 個 token 執行完整計算。
長上下文 decode 階段，dense MLA 每層每個 token 要讀 576 字節 FP8 latent。DSA 全量掃描 context 但只讀 132 字節 index key，再對 2,048 個 token 讀完整 latent，長上下文下每層只讀 dense MLA 約 23% 嘅數據量。
KV Cache 壓縮同量化
vLLM 將 MLA latent、indexer keys 同 KDA state 打包喺同一個 block。Latent 同 index keys 可獨立量化：NVFP4 latent 已將 K3.1 Pro 嘅 footprint 壓到 K3 FP8 以下；選配 MXFP4 index keys 可再容納多 11% token，並令 indexer 喺長上下文加速 10–20%。
效能數字
- Token-sharded prefill：8× GB300 上 34 萬 token，TTFT 較 head-sharded 快最多 1.69 倍
- Decode context parallelism (DCP)：DCP8 下 attention 模組快 1.3–1.5 倍；DCP prefill attention 每層快 4.1–4.3 倍；DCP8 比 TP8 多 7.2 倍 KV token 容量
- Fused low-latency decode：8× GB300 快 1.2–1.6 倍，DCP8 下快 1.9 倍
- Agentic serving：NVIDIA GB300 上單用户最高 375.9 tok/s，單 GPU 總吞吐 37.8K tok/s；NVIDIA Rubin 上單用户最高 815.6 tok/s，單 GPU 68.7K tok/s（SemiAnalysis AgentX 基準）
模姐驗嚇貨
呢次 Day-0 支援最值得注意嘅唔係速度數字，而係「zero-mismatch RL」：vLLM 同 Megatron 對 base model 同 LoRA adapter 產生 bitwise-identical log-probs，PPO KL divergence 喺 100 步全模型訓練中恒為 0。呢個對用開源框架做 RLHF 嘅團隊係實實在在嘅痛點解決。
另外，vLLM 同時覆蓋 NVIDIA、AMD、Google 同阿里四類晶片，開放權重模型嘅部署自由度繼續擴大。部署前建議用自家 workload 驗證。
模姐｜深度調教
