IBM Research 喺 Hugging Face 嘅 blog 放咗篇測試，話將三個 AI 代理外殼（harness，即包住模型、負責同工具同系統對話嗰層框架）放到同一個開放權重模型（open-weight model，指模型參數可以下載落本地用）上面，跑同一組 90 項 AppWorld 任務，任務完成率由最低嘅 30% 跳到最高嘅 81%。
成個比較用嘅係 GLM-5.3-flash 呢個模型，每項任務只試一次，用 Harbor 評測框架。三個 harness 分別係：IBM 自家嘅 CUGA（ConfigUrable Generalist Agent，開源代理框架，主打企業內部部署同政策管控）、Nous Research 嘅 Hermes（主打 7×24 個人助手）、同 LangChain 嘅 Deep Agents（主打長時段多步驟研究任務）。
最有用嘅數字唔係任務通過率（TGC），而係場景通過率（SGC，即同一場景三個變體全部要過先算過）。CUGA 通過 20 個場景、Hermes 8 個、Deep Agents 2 個。文章指呢個差距反映一致性，唔係幸運。
圖片：Dicklyon／CC BY-SA 4.0／Wikimedia Commons
模姐驗嚇貨：呢個測試有明確限制，IBM 自己都寫清楚：（1）只係 90 項任務嘅抽樣，未必能推廣到其他任務；（2）三個 harness 嘅設定唔完全一樣；（3）冇測試政策執行情況，即話「規則管控」呢個賣點其實冇喺呢輪測試中量度。
文章亦明確話呢個唔係對 Hermes 或 Deep Agents 嘅評判，兩者本身冇為 AppWorld 呢類多應用 API 工作而設計。
喺社區嘅 awesome-agent-harness 及 best-of-Agent-Harnesses 等清單追蹤嘅近 200 個 harness 中，模型同 harness 嘅組合確實影響最終表現。有分析引述同一個 GLM-5.2 模型，只改 harness 喺 SWE-bench Pro 上由 23% 跳到 52%。
選 harness 嘅問題，最終係「邊個 harness 配合我嘅模型、做我嘅工作」，唔係「邊個 harness 最好」。呢個框定冇問題，但 IBM 嘅答案自然係「揀 CUGA」。
模姐｜深度調教
