螞蟻同 vLLM 開源量化推理 Humming　支援 Turing 起、平頭哥晶片

螞蟻集團（Ant Group）同 vLLM 社群今個月開源咗 Humming，一個通用、高性能嘅量化推理（quantized inference）kernel 庫，官方話佢覆蓋由 NVIDIA Turing 架構起嘅 GPU，同埋 CUDA 兼容裝置，包括平頭哥（T-Head）嘅 Zhenwu 810E。

量化就係將模型權重同激活（activations）嘅精度降低，減少顯存同資料搬運量，同時提升運算效率。呢個問題喺 MoE（專家混合，Mixture of Experts）模型尤其突出——每個 token 只激活部分專家，但全套權重仲要擺喺記憶體入面。以 DeepSeek-V3 為例，佢有 6710 億參數，每個 token 激活 370 億。

文章指不同模型同 GPU 世代表現嘅量化需求差異好大，常見配置包括 WNA16、W8A8、W4A8、W4A4。同樣精度之下 INT4 同 NVFP4 喺數值格式同 scaling 上都唔同，再加上 scaling 粒度、scale 表示、group size、對稱／非對稱量化，配置空間不斷擴大。 Humming 嘅做法係將量化描述同執行選擇分離，再用共享組件組裝 kernel，而唔係為每個組合各寫一個。

官方列咗三點重點：硬件支援寬、量化支援全面、執行性能「顯著勝過」vLLM Marlin、FlashInfer、DeepGEMM。代碼庫已經放喺 github.com/vllm-project/humming。

模姐驗嚇貨：vLLM 官方 blog 嘅發布文，性能數字由廠商自己講，冇獨立第三方數據。要確認「顯著勝過」有幾真，等第三方評測出嚟先好講。