長 session 嘅 KV cache 可以食盡 GPU 記憶體 1/10 至 1/20，Vast Data CTO 指分層卸載到 CPU 同持久化儲存，先至撐得住企業級 agent 記憶。
AI agent 開得越久、喺企業內部越 spread，記憶壓力就越大。Vast Data 聯合創辦人兼 CTO Alon Horev 喺 Fully Connected 2026 接受 theCUBE 訪問，點出呢個壓力頭一啲出現喺推理（inference）：每個長 session 嘅 KV cache（key value cache，模型推理時暫存已計算語境嘅緩存）放喺 GPU 顯存入面，一個 50 萬 token 嘅 session，可以佔走 GPU 記憶體嘅十分之一到二十分之一。
更麻煩係，agent 唔係一直同大模型（LLM）傾緊，佢可以轉去編碼、測試軟件，人仲要飲杯啡。Horev 話如果將呢啲 session 卸載（offload）去儲存，就唔使重複計算，「memory wall」先至拉得開。
Vast 嘅做法係分層（tiered）：先用 GPU memory，再同一台機器嘅 CPU memory，最後先落可以載入 petabyte 級 KV cache 嘅持久化儲存媒體，整個過程由 Nvidia 嘅 Dynamo 軟件協調。佢話可以將 session 由繁忙嘅 GPU 搬去較閒嘅 GPU，KV cache 可以經網絡傳，或者由 Vast 讀出，「將推理睇成分佈式問題，就有更多彈性、更優化嘅排程」。
Horev 另指出，企業部署數以千計個 agent 處理敏感資料、代客行事時，需要記錄 agent 嘅所有操作並保留一定期限，令 agent 記憶同時係治理（governance）同效能資產。Vast 已推出面向敏感 workload 嘅機密運算（confidential computing）服務。佢仲稱，agent 嘅對話記錄「同樣係黃金」，可以用於微調（fine-tuning）、訓練或打造特定用途模型。
需留意：以上數字同分層方案均由 Vast CTO 口述，係廠商角度，本站未獨立測試或驗證其排程效率同成本。
阿調搞兩下
金主 Nvidia 坐喺排程嗰層，Dynamo 喺度協調；Vast 嘅話，agent 記憶同時係效能資產同治理資產，仲可以拿去做微調。點樣由一句話變成一條合規流程，呢個先係企業買入前真正要問嘅。
阿調｜深度調教
