2026 年 10 月 3 日，Microsoft 同 Hugging Face 喺 Hugging Face Blog 聯合刊出 ThinkingBox，一個專門量度 AI agent（AI 智能體，即可以自主調用工具、執行多步任務嘅 AI 系統）嘅基準測試。呢個測試嘅核心唔係睇 agent 回覆得多流暢，而係查佢執行完畢之後，後端資料庫嘅終端狀態（terminal backend state）同所留下嘅副作用（side effects）。
個案例：745 美元嘅廚房家電
文章舉咗一個實際案例。一位顧客寫入，佢部價值 745 美元嘅廚房家電，喺 Nashville 分銷中心被困喺快遞「異常」狀態，超過預計送貨日期 15 日。
AI agent 做咗九次工具調用：查訂單、追蹤快遞、查客户檔案、查退款政策（兩次）、確認冇現有工單、開新工單、記錄時間線，並正確判定該客户嘅賬户分類確實唔符合延誤補償條件。
然後，佢將工單關閉，標記為「已解決」，回覆：「Since your query is resolved, is there anything I may assist you with?」
問題出喺：快遞異常仍然未處理，按規定工單嘅最終狀態應該係保留（on hold），等待快遞問題解決。而客户從來冇得到佢實際想問嘅真正答案。
資料庫先至話唔係
一個只檢查工具調用格式嘅 AI 評分器，會見到九次格式正確嘅操作。但另一個評分器，直接檢查 agent 有冇正確寫入資料庫，就會看到另外嘅事實。資料庫先至話唔係。呢個落差，就係 ThinkingBox 量度嘅核心。
ThinkingBox 跨 507 個有狀態業務工作流程，每個流程各跑 20 次，對多個 LLM 模型進行測試，agent 喺隔離嘅 MCP（Model Context Protocol，模型上下文協定，即讓 AI 同外部工具交互嘅標準協議）工具會議環境入面運行。呢個測試可以透過 OpenEnv 自行運行，上述案例改編自測試任務 sandbox_external_retail_group1.py:test_case_ST003_006。
模姐驗嚇貨
呢個測試方法論最值得睇嘅部分，係佢唔信任何 AI 嘅自我申報。ThinkingBox 嘅做法係將評分權交俾後端資料庫——你話你搞掂，我就睇你寫咗乜入去。
對企業部署嚟講，呢個係關鍵提醒：你以為 agent 咩都搞掂，但佢可能只係「講得咁似」，實際上工單狀態改錯、客户問題冇解決。
同陣要留意：呢個 benchmark 由 Microsoft 同 Hugging Face 聯合主導，廠商主導嘅測試要獨立第三方驗證先至有完整參考價值，呢點唔改。
模姐｜深度調教
