NVIDIA 今趟出文，承認模型越做越大、上下文越做越長，而 AI 代理（agentic）應用就係食顯存嘅大户。
佢話由 Blackwell Ultra 去到下一代 Vera Rubin 平台，每個 GPU 嘅 HBM 容量只升咗大概 3%——但同時佢話喺 SemiAnalysis AgentX 測試入面，代理吞吐量按美元計升咗最高 30 倍。即係話，佢嘅説法係：唔需要一味加顯存，都做到唔錯嘅事。
點解 HBM 壓力咁大
前沿模型而家有幾萬億個參數（trillions of parameters）。KV cache（保留模型處理中每個請求所需上下文嘅高速緩衝，避免重複處理同樣資料）亦同時膨脹。AI 代理可以跨越多個模型及工具調用保留之前嘅上下文，NVIDIA 話某些情況下可處理達 300 萬 tokens，令每個請求嘅工作記憶隨時間不停增長。另外 RAG（檢索增強生成，把企業內部資料注入提示以提供更相關回應）亦會加入更多需要處理同保留嘅上下文。HBM 喺推理時要同時容納模型參數同 KV cache，呢兩樣嘢爭同一塊空間。
圖片：Coolcaesar／CC BY-SA 4.0／Wikimedia Commons
NVIDIA 點解唔單止堆 HBM
佢用一個比喻：HBM 係倉庫，記憶體頻寬（bandwidth）就係裝卸口。倉庫越大，貨越多，但裝卸口數量固定——貨堆到某個點，再加大倉庫都冇用，因為裝卸口已經飽和，數據進出變慢，最終拖慢服務。
工程師叫呢個限制做「memory wall」。超過呢個點，加再多 HBM 都派唔到用場，但成本同耗電照加。所以 NVIDIA 嘅説法係，唔係所有數據都須要喺最快、最貴嘅 HBM 層；數據要按熱度分層管理，由 HBM 到 CPU 記憶體、本地 SSD、共享儲存，逐層下放，需要時再調回 GPU。
呢個就係佢哋話嘅「full-stack codesign」——GPU、CPU、網絡、儲存同軟件一齊設計，逐層擠出每個 byte 嘅最大效率。
模姐驗嚇貨
資料圖片：Pixabay
先講清楚：呢篇係 NVIDIA 自家博客，唔係第三方獨立驗證。呢個「30x」數字就出自佢哋嘅合作測試（SemiAnalysis AgentX），而唔係本站實測。NVIDIA 話自己係最先採用 HBM3e 同 HBM4 嘅芯片廠商，呢個都係佢哋自己嘅聲稱。
技術邏輯——由 HBM 向下分層、按數據熱度管理——係業界公認嘅做法，唔係 NVIDIA 獨家。真正要留意嘅係「30x」呢個數字嘅測試條件：邊個版本嘅 AgentX、邊個模型、邊個基準、喺邊個設定下量得。呢啲細節 NVIDIA 博客入面冇逐項交代。
講到 HBM 供應同價格，佢話「供應收緊、價格上升，短期內趨勢會持續」，冇具體數字。而 HBM 係目前 AI 硬件鏈入面最緊缺嘅環節，呢個壓力會幾時緩解，冇人答得上。
模姐｜深度調教
