IBM Research 最新公佈一個叫 ALTK-Evolve 嘅方法：唔使換用前沿模型，淨係喺系統提示詞（system prompt）加上一疊由任務中「學到」嘅行為指引，就令一個用 GPT-4.1（較舊、非推理模型）驅動嘅基本客服 agent，喺 τ²-bench 零售域（retail domain）做到 67.5% 嘅 Pass^4 分數。
呢個分數喺佢哋 2026 年 10 月 12 日嘅 τ²-bench 排行榜截圖上，列所有零售項目之上。
ALTK-Evolve 做緊乜
ALTK-Evolve 嘅原理係：分析 agent 喺訓練任務上嘅多次嘗試，用 GPT-4.1 將成功同失敗提煉成簡短嘅行為規則（學到嘅指引），例如點樣核實客户身分、確認交易、處理退貨，然後將呢啲規則加到系統提示詞入面，俾後續對話跟隨。
同一個模型（GPT-4.1）同時負責提取指引同驅動 agent；冇更新任何模型權重，亦冇人工標註。
測試條件
研究團隊用 τ²-bench 嘅標準 ReAct（先思考後行動）agent 架構，以 gpt-4.1 做 agent 模型、gpt-5.5 做客户模擬器模型，每個任務跑 4 次（trials）。唯一改動就係喺系統提示詞加咗一疊學到嘅指引；政策文件、工具、agent 架構均保持原狀。
τ²-bench 由 Sierra 開發，專為客服場景設計。每個任務設一個 LLM 模擬客户、一組領域工具（查訂單、發退款、改航班）同一份必須遵循嘅政策文件。任務只有喺最終數據庫狀態與預期完全一致時才計為完成，係嚴格二元評分。研究團隊用嘅兩個領域係零售（retail）同航運（airline）。
呢個意思係乜
呢個研究嘅核心主張：喺客服呢類講求政策遵循同正確工具操作嘅場景，「記住做錯咗乜」可能比「換一個更大模型」有效。GPT-4.1 唔係前沿模型，喺非客服任務未必抵得上更強嘅版本；但喺呢個特定域，透過迭代提煉行為規則，佢喺排行榜上做到了最前列。
值得留意嘅限制：呢個分數係基於單一研究團隊嘅自評，用自家嘅 leaderboard snapshot（10 月 12 日），而非獨立第三方驗證。ALTK-Evolve 嘅指引係針對特定政策文件同工具集生成，未必可直接遷移到其他域。
模姐驗嚇貨：呢個結果值得跟進，但唔代表「前沿模型冇用」。67.5% 嘅 Pass^4 係喺零售域、特定工具集下嘅表現，同其他域（航運）嘅表現未必一致，材料只提及零售域數據。想搞清楚到底幾勁，要睇完整論文同獨立測試。
模姐｜深度調教
