清華大學研究團隊近日開源咗 AKV，一個基於 SGLang（一個開源嘅大模型推理／服務框架）嘅「cache engineering」服務系統，主要面向用 LLM 做 agent 嘅場景。
AKV 嘅核心做法，係唔再靠「摘要歷史對話」去控制上下文長度。傳統做法係將之前嘅對話內容壓縮成一串 summary，再塞返入模型；AKV 則改係直接對 KV Cache（大模型推理時產生、會佔大量顯存嘅鍵值快取）做「丟棄同重新擺放」，選擇性地保留或移走快取內容，而唔係整段壓縮。
研究團隊提供嘅數據係：喺 4 個 agent 相關嘅基準測試上，AKV 相比傳統做法平均降低成本 27.7%。
圖片：HoweyYuan／CC BY-SA 4.0／Wikimedia Commons
需要留意嘅係，呢個數據來自研究團隊自身，屬廠商／研究者自評，並非獨立第三方測試。SGLang 本身嘅版本、測試使用嘅模型版本、以及各基準測試嘅具體任務設定，材料入面冇進一步交代，暫未能核實詳細測試條件。
喺 agent 需要長時間、多輪工具調用嘅場景，KV Cache 嘅大小同重用效率一直係一個主要成本來源，呢個方向值得持續跟進，但仲要看獨立驗證同更大樣本量嘅測試結果先至可以睇真。
模姐｜深度調教
