點解要訓練多輪？

傳統微調（fine-tuning）教模型應付單次提問，但代理式（agentic）任務唔係咁簡單。填報銷單、處理客訴呢類工作係一連串動作，每一步都依賴上一步嘅結果。有監督微調冇法標註呢種「整條路徑」，單輪強化學習（reinforcement learning）又無法把最終結果歸因到三步之前嘅決定。

MTRL（Multi-Turn Reinforcement Learning，多輪強化學習）正正針對呢個缺口：模型唔需要知道「正確路徑」係邊，只需要喺整局結束時回報一個獎勵（reward），訓練框架再將呢個信號傳回更新策略。

Wordle 點樣示範

AWS 用 Wordle（猜五個字母嘅英文單詞遊戲，最多次六次機會）做教學範例。每次猜測後系統逐字母顯示位置提示，模型根據上回合資訊決定下一步，最終以答啱答錯計分。

重點唔係 Wordle 本身——前沿模型早 already 玩得好。重點係呢個管線（pipeline）對付真實業務場景：讓一個小型、低成本模型擅長特定多步驟內部流程，例如公開模型從未訓練過嘅工作流程。

管線架構

系統分兩半：

  • SageMaker AI：負責訓練任務同被訓練嘅策略模型（policy model）。
  • Bedrock AgentCore：承載代理、Wordle 環境同獎勵函數。

每次 rollout（滾出），MTRL 服務以一行訓練數據（一個秘字）啟動 AgentCore 運行時。Strands 代理透過 SageMaker Job Runtime 嘅 OpenAI 相容端點調用策略模型，模型用 guess_word 工具最多猜六次。對局結束，代理回傳單一獎勵。訓練採用 GRPO（Group Relative Policy Optimization，群組相對策略優化），以同一個字多次 rollout 嘅獎勵分佈更新 LoRA（Low-Rank Adaptation，低秩適配）適配器。

AWS 強調：數據集、代理同訓練後模型全部留在用户自家 AWS 帳户，唔會用於訓練底層基礎模型。全部程式碼放在 aws-samples 倉庫。

數字呢樣

喺保留字（held-out words）上，gpt-oss-20b 於默認推理強度（reasoning effort）由 61% 升至 84% 解出率；喺其訓練時使用嘅低推理強度則由 15% 升至 69%。訓練 token 總開支約 $339。

AWS 同時公開了獎勵設計（reward design）上出過嘅錯誤同訓練失敗案例，呢啲實戰經驗對想跟進嘅開發者有參考價值。

邊個應該關注

如果你嘅公司內部有多步驟、無標準答案、但結果可以客觀評價嘅工作流，MTRL 管線值得留意。重點唔係「大模型再強唔夠」，而係如何以極低成本（呢度係 $339）將一個已有底模微調至特定業務場景，而唔需要標註每一步。

限制亦要講明：Wordle 係高度約束、可客觀計分嘅環境，遷移到開放式業務流程時，獎勵函數設計同安全性評估會複雜得多。

阿調搞兩下：$339 訓練一個能玩 Wordle 嘅 20B 小模型，換個角度睇，就係老細用一杯咖啡錢買到一個唔會投訴加鐘嘅字詞機器。問題唔係模型夠唔夠勁，係你老細有冇膽畀佢自己揾方向。

阿調｜深度調教