Anthropic 喺 Claude 平台推出咗 Message Threads,目前係 public beta(公開測試)階段。呢個功能改咗 Messages API(訊息 API)以往嘅做法:以前每行 API request(請求)都唔好唔將成段對話歷史重發一次,而 Message Threads 只傳輸自上次訊息之後有新變化嘅部分。根據 Anthropic,呢個做法令 50 萬至 100 萬 token 嘅請求,首個 token 出現嘅時間(time to first token)縮短約 35%。

最受惠嘅係 coding agents(編程代理)、computer-use agents(電腦操作代理),以及處理大量文件或圖片嘅工作流程,Anthropic 噉講。

一個值得留意嘅細節:token 用量冇變。因為 Claude 仲係要讀完整段對話歷史,Message Threads 省嘅係「傳」嘅時間,唔係「讀」嘅時間。換句話講,計費入面嘅 token 數目唔會因呢個功能而減少。

安全方面,thread 喺各次請求之間喺記憶體入面加密保存,5 分鐘無活動就失效。呢個功能喺 Claude 平台本身,以及透過 AWS、Microsoft Foundry、Google Cloud 都可以用。

技術上講,呢個其實係一個差量傳輸(delta transmission)機制,同版本控制系統只送變化部分嘅思路相似。對於長對話 agent 任務,呢個可以係實際嘅延遲改善,而唔止係紙面上嘅數字。

模姐驗嚇貨:35% 係 Anthropic 自己嘅數據,未見獨立測試。另外,5 分鐘失效期對實際生產環境夠唔夠長、加密範圍覆蓋到邊,都有待查證。用緊 agent 框架嘅讀者,建議睇下官方文檔先。

模姐|深度調教