Muse Spark Open 一上市 vLLM 已接住　816B MoE 跑 NVIDIA、AMD 同 TPU

Meta 開放 Muse Spark Open 嘅 vLLM 支援喺 2026 年 10 月 15 日首日就出爐。呢個 816B 參數嘅 mixture-of-experts（MoE，專家混合）模型，唔單止係一個大模型，仲係多硬件平台嘅標靶。

架構與部署

模型共 816B 總參數，每個 token 激活 42B，1M context window。權重方面，Meta 有 BF16 同 NVFP4 兩個版本，AMD 仲有 MXFP4 權重。

vLLM 團隊喺呢個模型落咗唔少手腳：

  • 並行：NVIDIA 同 AMD 都有 Tensor Parallelism 同 Pipeline Parallelism；NVIDIA 仲有 Expert Parallelism、TEP、DEP 同 PD disaggregation。TPU 初始支援。
  • 推測解碼：團隊訓練咗 DSpark draft model，喺 CUDA 同 ROCm 上支援，加速推測解碼，測試過 SPEED bench。
  • 預建映像：NVIDIA 用 vllm/vllm-openai:muse-spark-open，AMD 用 vllm/vllm-openai-rocm:muse-spark-open。

代碼（PR #61879）要等 review 同 merge，通常約一星期先有 nightly PyPI wheel。

架構細節

Muse Spark Open 跟 Muse Glimmer 一樣，有幾個嘔牙拜物嘅設計：

Sandwich normalization — 每個 block 前後各放一個 normalization layer，好似多士三明治，同大部分 decoder 只放前面唔同。

Latent MoE — 每個 MoE layer 有兩條共享矩陣：pooler（8192 × 4096）同 unpooler。Pooler 將 token width 由 8192 縮到 4096 先畀專家處理，unpooler 還原。實際效果係專家投影層參數減咗一半。

Hybrid attention — 62 層 decoder 入面，每 4 層一循環：3 層用 2048-token Sliding Window Attention，1 層全 attention。62 層入面 46 窄層、16 闊層，1M context 嘅 KV cache 只係全 attention 嘅約 1/4。

視覺編碼器 — 同 Muse Glimmer 共用 2B Perception Encoder，按原生分辨率讀圖，唔會縮放。影片逐幀採樣，時間戳 token 化。

音訊編碼器 — 118M 參數，24 kHz 波形，每 1920 個樣本（80ms）生成一個 token。

點樣用

Prebuilt images 兩個廠商都有：

# NVIDIA
docker pull vllm/vllm-openai:muse-spark-open

# AMD
docker pull vllm/vllm-openai-rocm:muse-spark-open

Nightly PyPI wheel 大概一週後先出，即代碼 review 完先能用。

模姐｜深度調教