推理嘅 KV Cache（Key-Value Cache，大語言模型處理長上下文時產生、可再次復用嘅歷史計算結果），細到連個「屋」都冇，而家大到要獨立「分層」住。Huawei 喺全聯接大會上推出了 OceanStor M900；NVIDIA 嘅 CMX Context Memory Storage 亦已問世。呢類產品嘅核心，就係將推理途中已產生、之後可再命中之類嘅 KV Cache，由 DRAM 逐層外移至 SSD 乃至更便宜嘅大容量介質，令後續請求喺命中時唔使再走過相同嘅 Prefill（預填）計算。

以存換算，命中率要點算

長期研究存儲嘅學者章衡指出，外置 KV Cache 嘅核心邏輯就係「以存換算」——喺算力成本同存儲成本之間揾一個平衡點。以他嘅例子，若命中率由 90% 升至 95%，需要重新計算嘅部分就由 10% 降至 5%，「相當於重新計算嘅那部分算力開銷減少了一半」。

但命中率越高，代表要保存嘅歷史 KV 就越多；尤其喺高命中率區間，要再覆蓋最後幾個百分點嘅長尾數據，所需存儲容量可能明顯增加。

第一筆帳：值唔值得存？第二筆帳：存喺邊？

某頭部存儲廠商負責人李輝話，不同應用嘅 KV Cache 數據生命週期差異很大——消費端應用可能幾分鐘至一兩個鐘頭就會被清理；部分企業端應用更看重上下文延續性，數據生命週期也可能更長。李輝亦提到，現在不同業務中嘅數據生命週期可能由分鐘、小時，一直延伸到天甚至星期。對這類業務而言，令歷史 KV 跨請求保留更久、供後續復用嘅價值也越高。

「存在邊」呢個問題上，李輝解釋，若 DRAM 夠平、供應充足，全放 DRAM 當然最省事、性能也最好——但現實係 DRAM 既貴又缺，這就俾 SSD 留下空間。然而呢個替換唔係 1TB DRAM 對 1TB SSD 咁簡單：「1:N」，喺某些方案中甚至可以達到 1:5 乃至 1:10；按同容量計算，DRAM 與企業級 SSD 嘅成本可以相差數十倍。正係呢種價差，令內存卸載由過去資源不足時嘅「兜底手段」，逐步進入新系統嘅初始設計。

章衡亦提醒，現時多數推理場景仲未到達必須增設獨立 KV 存儲裝置先至運行得嘅程度；企業通常會先用滿伺服器內已有嘅 DRAM、內存池同本地 SSD，先再考慮外部存儲。

規格仲未定，「以存換算」仍未有標準答案

Huawei M900 同 NVIDIA CMX 嘅出現，正説明原本多喺伺服器內部發生嘅 KV 分層，開始進一步走向獨立嘅共享存儲層。但獨立 KV 存儲裝置雖然已經出現，真正承接呢類 KV Cache 嘅 SSD，仲未形成一個成熟、統一嘅產品品類。

李輝話，業界已經開始討論針對 AI 推理、尤其 KV Cache 負載優化嘅 SSD，但真落到採購端，大多數客户買嘅仍然係普通企業級 SSD（三星、閃迪、美光等傳統企業級產品）。「現業界都在聊呢個趨勢，但仲未有一個標準化、大規模上量嘅產品」。

原因唔係 SSD 本身做唔出，而係 KV Cache 究竟會俾 SSD 帶來點樣嘅負載，業界仲未完全摸清楚。李輝舉例，佢接觸到嘅一類方案，最初對 SSD 耐寫能力（DWPD，每日整盤寫入次數）嘅要求約為 3 DWPD，後來調整至 9 DWPD。呢個指標會反覆變化，首先取決於 KV Cache 要保存幾耐：若一組緩存只保存幾分鐘，數據需要頻繁更新，SSD 每日承受嘅寫入壓力更高，耐寫要求隨之上升；但若數據需要保存數個星期，寫入頻率下降後，耐寫能力反而唔再係主要矛盾，容量需求會更加突出。

對存儲廠商而言，SSD 係一個高度依賴規模嘅產品。「如果沒有標準化，這個市場就難以形成規模」，李輝坦言。若不同客户各自行定義一套 SSD 規格，產品就容易停留喺定製化階段，無法形成足夠大嘅統一市場。按李輝嘅估算，業界形成較統一嘅產品共識可能仲需要 6 至 12 個月；即使標準確定，後續產品開發、驗證同優化可能仲要花約 1 年。

北美市場已有客户因 AI 推理同 KV Cache 增加 SSD 採購；中國市場亦開始出現加單，但速度相對較慢，目前國內 SSD 需求嘅大頭仍於訓練同常規推理，KV Cache 相關需求仲於方案階段。

外置之後：HBM 同 DRAM 嘅負載有冇被緩解？

目前最直接被緩解嘅，係 DRAM 嘅負載壓力。章衡笑言，「核心目標其實是換內存，唔係要換顯存。現內存太貴了，那不如少買點內存，多買點 SSD」。在此類方案中，原本需要長期留在 DRAM 中嘅部分歷史 KV，可以繼續下沉至 SSD，從而減少內存配置。相對於 HBM（高帶寬顯存），外置 KV Cache 嘅緩解並唔直接——外部存儲更多影響係首 Token（第一個生成 Token）延遲；一旦開始生成 Token，相關 KV 已回到顯存，後續生成速度仍然依賴高速顯存。

SSD 解決「存得下」，解決唔到「搬得快」

但將歷史 KV 放到更大容量嘅存儲中，只解決咗容量同成本問題。當前推理過程中，模型權重同數據仍然需要不斷搬運。SSD 解決嘅係存得下、存得有性價比，但它解決唔到搬得夠唔夠快。

AI 晶片公司創辦人顧淮話，存算一體（Compute-in-Memory，CIM）正係想減少嘅，就係模型權重同當前數據嘅搬運開銷。喺傳統推理架構中，模型權重同中間數據需要在存儲單元同計算單元之間頻繁移動；存算一體則希望將部分計算盡量放到數據附近完成，減少反複搬運帶來嘅開銷。呢種優勢喺 Prefill 階段尤其明顯，高並發場景下，同一組模型參數可以被多個請求復用——顧淮以 100 路並發舉例，同一組參數可以被多個請求共用，唔需要為每個請求重複搬運。「並發數越多越好」。到 Decode 階段，不同請求使用嘅 KV 緩存並不完全相同，能在請求之間重複利用嘅數據更少，存算一體喺呢階段嘅收益無 Prefill 明顯。

顧淮指出，存算一體並唔能替代歷史 KV Cache 嘅存儲需求——「歷史對話嘅 KV Cache 仍然要存喺 SSD 入面，否則存儲量太大」。

模姐驗嚇貨：呢次唔係單一廠商吹水——NVIDIA 同 Huawei 幾乎同步出產品，呢個「以存換算」就唔係某一間公司嘅營銷，係業界共識。但「KV Cache 值唔值得存、存幾耐、存喺邊、用乜規格 SSD」呢個「帳」，由廠商同客户各算各嘅，仲無一個「標準答案」。對香港用户而言，呢係部署同成本層面嘅議題：你嘅推理棧要唔要引入外置 KV 存儲，同你嘅數據生命週期、命中策略直接掛鈎。規格定日，呢個「以存換算」嘅「帳」先有得算；而「個掣」——即係你嘅 KV 數據存喺邊、由邊個管——亦要逐層問清楚，先至算數。

模姐｜深度調教