上一回 ThinkingBox-Bench 話畀你聽：模型講「做完」，數據庫話「無」。而家微軟同 Hugging Face 喺 Hugging Face Blog 出咗一篇聯手文章，將同一個「查最終數據庫狀態」嘅考評機制，改造做 RL（強化學習）訓練用嘅獎勵函數，並喺 GitHub 開源咗配套嘅 ThinkingBox-Training。

簡單講：ThinkingBox 嘅每個任務都係畀 agent 接真實後端同工具，做完之後自動核對數據庫究竟改咗乜，同預期結果比對。呢個檢查本身係 0/1 嘅，團隊話：「唔只係考評，仲可以做獎勵函數」。

點樣揀訓練題

唔係個個 ThinkingBox 任務都適合作 RL 訓練。團隊講明：大部分任務，對住你手上嗰個模型，要嘛已經解出、要嘛基本冇望，兩者都教唔到乜。佢哋嘅做法係「離線策略相對難度」：喺訓練之前，用 base policy（初始策略）估計每道題嘅成功概率，挑中間嗰段做訓練池，訓練期間固定唔變。

訓練點做

用呢個訓練池，對 Qwen3.8-27B 做 50 步 GRPO（群體相對策略優化，一種唔需要 value model 嘅 RL 方法）。

測評：507 題 × 每題 20 次 = 10,140 次嘗試。三個指標：

  • pass@1：10,140 次嘗試嘅平均成功率。訓練前 51.70%，訓練後 60.78%。
  • pass@20：至少做一次啱嘅任務比例（文中提到有輕微下降）。
  • Observed 20/20：20 次全部做啱嘅任務比例，由 38 宗變同 107 宗。

單一任務點樣變

文中有個例子：旅客要求降級房型，但公司規定要先經主管批准。訓練前，模型喺 20 次嘗試中 15 次直接改訂單、發退款，冇問過主管。RL 微調後，20 次全部保留原訂單及付款狀態，19 次全數記錄符合預期。

模姐驗嚇貨

呢篇係廠商自報，冇獨立第三方重現。GRPO 嘅 50 步、固定訓練池、離線策略相對難度選題——呢啲方法論細節有公開，但：

  • 訓練池嘅具體規模、題目分佈、係咪含 ThinkingBox-Bench 範圍外嘅私有數據，文未詳細交代；
  • pass@20 具體跌咗幾多，佢哋話「輕微下降」，冇給數字；
  • 只測咗一個模型（Qwen3.8-27B），唔代表通用。

技術上呢個思路冇乜新奇：用環境可驗證嘅終態（terminal state）做 reward，就係 verifiable-reward RL 嘅一條路。真正有價值嘅係 ThinkingBox 將 507 個可執行檢查任務包裝成一套可重用嘅後訓練框架，而唔止做 benchmark。

對用户嘅關聯：如果你係用 Qwen 系列 agent 做企業工作流，呢個方法論值得跟住，但要等獨立重現先信數字。GitHub 上 ThinkingBox-Training 可以睇代碼。

模姐｜深度調教