GPT-OSS-20B 調教多語言推理：SFT 開路，GRPO 補刀

GPT-OSS-20B 係一個開放權重（open-weight）推理模型，預設用英文「思考」。你叫佢用法文、德文、西班牙文或意大利文推理，佢會客氣咁講收到，但推理鏈（chain-of-thought）照樣切返英文。

喺 AWS 做嘅 50 題多語言推理測試入面，原模型只喺 22% 情況用正確目標語言推理。細看就知呢 22% 幾乎全部來自英文題：英文 100%、法文 0%、德文 10%、西班牙文 0%、意大利文 0%。

呢個落差對部署推理模型俾非英文用户嘅團隊係實際問題：用法文發問嘅用户，期望模型用法文思考同回答，唔係思考到一半切返英文。

點樣調教：SFT 定 GRPO？

AWS 喺 Amazon SageMaker HyperPod 上做了呢個微調，順帶比較兩種技術：

• SFT（監督式微調）：教模型一個佢原本冇嘅行為，用標註數據示範「點做」。
• GRPO（Group Relative Policy Optimization，群組相對策略優化）：一種強化學習方法，每次對同一提示樣本一組回應，將策略推向表現高於平均嗰幾條。

文章總結核心邏輯：SFT 開路，GRPO 喺模型已經有「headroom」（提升空間）先至補刀。如果目標行為喺原模型機率係零，GRPO 幾乎冇嘢可以強化。

測試設計

• 數據集：HuggingFaceH4/Multilingual-Thinking，約 949 題訓練 + 50 題驗證
• 評估：50 題數學/邏輯題，分派去 5 種語言（EN/FR/DE/ES/IT）
• 指標：推理語言正確（chain-of-thought 係咪用指定語言）＋ 答案語言正確（最終答案係咪用指定語言）
• 微調方法：LoRA（Low-Rank Adaptation，低秩適應），參數高效，適合 SFT 同 GRPO
• 對照實驗：另外喺 Qwen2.5-7B 上跑任務，測試 GRPO 喺不同能力落差下嘅成效

訓練基建

• Amazon SageMaker HyperPod，EKS 編排
• GPT-OSS-20B：PyTorch TRL 庫
• Qwen 對照：veRL trainer，Ray/KubeRay 分佈式，vLLM 做 rollout 生成
• 存儲：Amazon FSx for Lustre；網絡：EFA

---

阿調搞兩下

呢篇嘅價值唔係 GPT-OSS-20B 變咗乜，而係一個清晰原則：微調技術要匹配能力落差，唔係盲上最貴嘅方法。SFT 係基本工，GRPO 係進階課，但進階課對完全冇底嘅學生都冇用。團隊揀技術時，先睇模型對目標行為嘅「機率」，先決定要唔要 GRPO。呢個思路應該寫入任何部署 open-weight 模型嘅 decision framework。

阿調｜深度調教