NVIDIA技術部落格喺11月5號放文，主題係「AI工廠」入面HBM（高頻寬記憶體）點樣令每一byte都出工。文章稱由GB300到NVIDIA Rubin，單卡HBM容量維持288GB不變，但頻寬升到19.2TB/s。就嘅話，記憶體容量冇加，速度加咗，所以問題唔再係「GPU有几多記憶體」，而係「每一byte可以產生幾多token」。
文內引用SemiAnalysis AgentX測試——即回放記錄咗嘅coding-agent session、有真tool-call空隙同漸長context——喺160 tokens per second per user設定下，Vera Rubin NVL72嘅throughput per megawatt最高去到GB300 NVL72嘅30倍。呢個數字NVIDIA自己出，第三方獨立複測目前冇見；SemiAnalysis AgentX係邊間機構做嘅、方法細節點喺呢篇文冇交代，所以呢個「30倍」要當廠商聲稱睇。
NVIDIA將問題拆成「共同設計」（co-design），橫跨GPU架構、scale-up互聯、服務軟體、CPU同儲存五層，並逐層講解。
第一層：NVFP4壓縮
NVFP4用4-bit E2M1元加兩級scale：每16個元共用一個FP8（E4M3）scale factor，頂層再有一個per-tensor FP32 scale。文章指呢個格式喺權重上較FP16細約3.5倍、較FP8細約1.8倍，同時NVFP4已成開源agentic基準測試嘅預設精度，包括AA-AgentPerf、SemiAnalysis AgentX同MLPerf Endpoints。
喺呢啲基準同主流MoE架構上，NVIDIA聲稱NVFP4喺相同互動性下可達FP8基線嘅4倍throughput。同樣係廠商數字。
NVFP4亦用於KV cache（key-value cache，推理時暫存對話歷史嘅記憶體）。文章稱KV cache喺NVFP4下較FP8細最多50%，即約2倍context可留喺晶片上，減少eviction、提高prefill階段嘅cache命中率，decode階段消耗嘅頻寬亦隨之下降。
第二層：Wide-EP專家平行
MoE（Mixture-of-Experts）模型每個token只激活部分參數，但所有expert嘅權重都必須駐留HBM。當expert集中喺少數GPU，每卡要承擔大量權重存儲，每個decode step都要付出高昂嘅權重加載成本。
NVIDIA TensorRT-LLM嘅Wide-EP將expert分散到8個或更多GPU。文章舉例：DeepSeek-R1喺EP64設定下，每GPU每層持有4個expert，即58層MoE層（全模型共14,848層）合共232個expert block分散。
每GPU嘅expert權重減少，帶來：更多HBM留俾KV cache、更大batch、更高並發；以及計算強度（arithmetic intensity）提升。
模姐驗嚇貨
呢篇文所有throughput、壓縮倍數、cache效益數字全部出自NVIDIA自家技術部落格。NVFP4嘅bit-level設計（E2M1、FP8 scale factor）技術上有一定透明度，值得拆；但「30倍throughput per megawatt」「4倍vs FP8」「50% KV cache削減」呢啲核心賣點，冇見到第三方獨立實驗室喺相同條件下嘅測試報告。
SemiAnalysis AgentX喺文內出現兩次，一次係NVIDIA引用、一次係NVFP4成「預設精度」嘅基準之一——呢個機構嘅身份、測試方法、樣本量喺文內冇交代。讀者如果做採購決策，呢啲「預設」同「最高」嘅形容詞值得再查。
HBM容量「維持288GB」本身係一個可驗證嘅硬體規格，呢個部分冇爭議。
模姐｜深度調教
