NVIDIA 於 2026 年 10 月 7 日喺 Hugging Face Blog 公佈咗佢哋用 Nemotron 3 系列模型微調，出兩套系統喺 2026 年國際資訊學奧林匹克（IOI）同國際數學奧林匹克（IMO）達金牌水平嘅過程。

SFT 同 RL 係乜？

簡單講，SFT（Supervised Fine-Tuning，監督式微調）就係用人標好嘅「題目 + 正確推理」對模型做額外訓練，等佢學識呢類題目嘅答題路徑。RL（Reinforcement Learning，強化學習）就唔係直接畀答案，而係畀模型試答，答對有獎、答錯受罰，用獎懲訊號逼佢自己揾到正確嘅推理策略。兩者唔同：SFT 係「睇住示範學」，RL 係「試錯後被修正」。

微調路徑：兩套專精模型

NVIDIA 嘅做法係四個步驟：起用一個強基底模型 → 篩選領域題目同推理軌跡 → 做後訓練（SFT 同 RL）→ 加一個推理循環（生成、評估、改答）。呢個循環佢哋叫 GenCorrect，就係模型自己生成多個候選答案，再自我評估、改進，反覆迭代。

IOI 方面，佢哋訓練咗兩個專精模型：Nemotron-3-Nano-CC（300 億總參數、30 億活躍參數）做咗 SFT 加 RL；Nemotron-3-Ultra-CC（5,500 億總參數、550 億活躍參數）只做咗 SFT。訓練用咗 22,000 題同合成推理軌跡。

IMO 方面，用 Nemotron 3 Ultra 做起點，訓練咗一個 SFT 專精（用 414,890 個品質過濾範例、覆蓋 15,818 個獨立證明題）同埋一個 RL 專精（用 9,597 個證明題）。

成績點樣嚟？

IOI 2025 嘅進步路徑：Nano 從未微調嘅 130 分，SFT 後升去 280 分，RL 後再升去 291 分，加 GenCorrect 後到 468 分，超過 438.3 分嘅金牌線。Ultra-CC 用同一 test-time 策略達 502 分。IOI 2026，Ultra-CC 系統錄得 535.4/600 分。

NVIDIA 話 Ultra 模型只需一個 SFT epoch（單一訓練週期），喺 IOI、ICPC 同 LiveCodeBench Pro 三個測試集上已經跑贏完全後訓練嘅 Nano 模型。

測試條件：點解呢個數字有分別

呢度有兩樣嘢要分清楚。

IOI 方面：NVIDIA 話佢哋嘅成績來自「一次預設嘅實戰測試」（live, prospective run），時間、網絡存取同提交次數限制同人類選手上完全一樣。佢哋明確講明呢個係「非官方、非監督嘅基準測試」，唔會計算入官方 IOI 排名。即係話呢個數字冇入正式成績單，係自行測試。

IMO 方面：佢哋話提交嘅證明係由官方 IMO 審判員評分。即係外部獨立評分，呢個比 IOI 嗰邊可信度高。

模姐驗嚇貨

兩點值得注意。

第一，微調成效係唔係真嘅？就技術而言，數據顯示微調確實提升咗模型喺特定領域嘅表現（130 到 468 分）。但呢個提升係領域特定嘅——NVIDIA 自己話係針對 Olympiad 題目訓練嘅專精模型，唔代表佢哋喺其他領域都自動變強。一個模型喺數學證明題上勁，唔代表佢喺寫程式或者寫文章都好。

第二，邊個信得過？IMO 嗰邊有官方審判員，可信度高。IOI 嗰邊係 NVIDIA 自行測試，冇獨立驗證，就係廠商自評。睇跑分先睇測試條件、測試集同評分者，呢個係基本。NVIDIA 有冇公開測試集同原始輸出？目前份報告冇寫。

微調模型喺特定領域強，唔代表通用能力好；廠商公佈跑分，唔代表第三方驗證過。睇技術報告，先問三個問題：測試集係點設？評分者邊個？可以 reproduce 得嘛？

模姐｜深度調教