2026年10月2日，AWS 喺官方 Machine Learning 部落格刊文，介紹點樣用多輪強化學習（Multi-Turn Reinforcement Learning，MTRL）喺 Amazon SageMaker AI 平台上微調由大型語言模型（Large Language Model，LLM）驅動嘅企業搜尋代理。

文內指，呢類搜尋代理會自主決定搜乜、用邊種檢索策略、幾時停，並喺多輪互動入面根據已檢索到嘅內容調整方法。但基座模型本身唔識你嘅工具同環境：只靠提示（prompting）小模型，好多時揾唔到可靠嘅多輪行為；改用前沿模型通常行得通，但要付出延遲同成本代價。

傳統做法點解唔夠用

AWS 文內指出，傳統微調有兩個明顯侷限。第一，監督式微調（Supervised Fine-Tuning，SFT）要靠專家示範理想嘅多輪軌跡，收集成本高，而且呢類示範通常根本唔存在。第二，單輪強化學習（如以可驗證獎勵嘅強化學習，RLVR）逐次為單一回應評分，但搜尋代理嘅決策係跨多輪相互依賴，單步優化睇唔到呢啲依賴。

MTRL 點做

MTRL 嘅思路係用最終結果做獎勵信號，對完整多輪軌跡做優化，目標係令小模型同時具備速度、成本優勢同前沿模型嘅可靠性。

喺 Amazon SageMaker AI 上，AWS 指 MTRL 將 agent 任務視為決策序列，用多輪 rollout 生成訓練資料，並用策略梯度算法（policy gradient）做優化。平台提供低代碼嘅 agent-environment 介麵（可自訂獎勵、工具循環同多輪對話結構）、serverless 執行（按 token 計價，唔使自建 GPU 集群）、非同步 rollout 同軌跡收集，以及內建算法庫，包括 PPO、CISPO、GRPO、RLOO 等。

我哋點睇

呢篇係 AWS 自家官方部落格文章。佢哋喺文內表示已用 Amazon SageMaker AI MTRL 微調咗一個搜尋代理，並提及喺檢索質量同可靠性上有觀察，但我哋未有獨立執行測試，亦未見獨立第三方結果可供核對。

如果你公司正考慮用 LLM 做企業內部搜尋，呢個方法提供咗一個值得留意嘅技術方向，但「可靠」二字最終要睇獨立驗證，唔係睇金主嘅 PR 稿。

阿調搞兩下

AWS 自家部落格賣自家產品，呢個唔係新鮮事。MTRL 嘅理論框架合理，「小模型快平可靠」嘅提法對企業用户好吸引，但實際效果點，要睇獨立測試。我哋會留意有冇後續第三方測試跟進。

阿調｜深度調教