2026 年 10 月 21 日，vLLM 團隊喺官方部落格（vllm.ai）宣佈，由發布日開始（day-0）支援 Recursive 嘅新模型 Flint。官方 Docker image vllm/vllm-openai:flint 已內建支援，x86_64 同 arm64、CUDA 13.0 都有；Flint 支援同時正喺合併入 vLLM 主幹（PR #62938）。
Flint 係乜
Flint 係 Recursive 出品嘅 40B 參數 MoE（Mixture of Experts，專家混合），每個 token 只激活約 2.5B 參數。架構上係 49 層 pre-norm MoE，hidden size 2048，支援 262K token 上下文。
比較特別嘅地方喺 attention：35 層用 513-token 滑動窗口（sliding-window attention，即每層只「睇」局部上下文），另外 14 層先係全上下文、無位置編碼；只有嗰 14 層需要保留整段序列嘅 KV cache，所以每 token cache 成本只係 28 KiB。模型用 GQA（grouped-query attention，32 query head、4 KV head）、per-head Q/K RMSNorm，256 個 expert 配 sigmoid top-6 routing，另有一個 shared expert；第 0、1 層用 dense MLP。
模型提供兩個獨立 checkpoint：NVFP4（quantization-aware trained，量化感知訓練）同 BF16。NVFP4 版本係以 GGUF 檔案承載、以 NVIDIA NVFP4 格式（不同 byte order）編碼；vLLM 喺載入時無損重打包，以 W4A16（權重 4-bit、activation 16-bit）方式運行，activation 同 KV cache 仍用 BF16，跟足 Recursive 參考實作嘅 rounding 點。vLLM 指精度喺 GSM8K、GPQA-Diamond、長上下文 MRCR 同工具調用測試上與參考實作一致。
單卡效能
按 vLLM 官方數據，batch-1、100K 上下文情境下，NVFP4 解碼喺單張 GB200 上喺優化後由 4.81 ms 降至 1.78 ms（2.7× 提速），BF16 由 3.53 ms 降至 2.34 ms（1.5×）；8K token 嘅 prefill 由 207 ms 降至 145 ms（1.4×）。優化後一次 forward 只需跑 346 個 kernel，由最初嘅 1,096 個降至約三分之一。端到端（含 LM head 同 sampling），batch-1 喺 100K 上下文下每 token 約 2.06 ms，即約 485 tokens/s，單一 GPU 上運行。
低延遲解碼路徑將每個 MoE 層拆分／融合為 7 個 kernel（Q/K norm、RoPE、routing 同 expert combine 分別融合進相鄰嘅 GEMV kernel），並用 programmatic dependent launch，令每個 kernel 喺上一個仍運行時即開始載入權重。
模姐驗嚇貨
呢份係推理引擎廠商嘅官方部落格，所有速度數字（485 tokens/s、4.81→1.78 ms 等）均為 vLLM 團隊自報，非獨立第三方評測。要驗證，最好照佢哋列嘅條件（單 GB200、batch-1、100K context、NVFP4 checkpoint）跑獨立 benchmark。
「40B 總參數、2.5B 激活」呢個比例，加上 513-token 滑動窗口同只留 14 層全上下文 KV cache，意思係：呢個模型係為「長上下文、單卡可部署」而設計，唔係打跑分嘅，係部署成本嘅。NVFP4 checkpoint 跟足參考實作 rounding 即無精度損失，呢一點值得留意——量化之後照樣對齊，唔係「降規格」。
讀者角度：如果你正在評估本地／單卡部署 MoE 嘅可行性，Flint 呢個案例（單 GB200、100K context、近 500 tokens/s）值得記錄；但最終係咪適合你嘅 workload，仍要自己跑測試，唔好照單全收廠商數字。
模姐｜深度調教
