NVIDIA 提 Reshard：RL 訓練要搬幾TB權重，照舊做嘅話每步都要搬兩次
NVIDIA 今個禮拜（2026-11-06）喺技術網誌刊文，講強化學習後訓練（reinforcement learning post-training，即係模型預訓練之後再用 RL 微調）過程中一個底層工程問題：訓練同推理拆開喺兩套 GPU 上平行跑，要定期把最新參數「搬」過去，NVIDIA 稱呢個搬動叫 refit（權重重載）。
舊做法嘅麻煩係：訓練卡同推理卡用唔同嘅併行切分方式（data、context、tensor、expert、pipeline 五種並行），所以搬權重要跨一齊佈局，而且模型越大，要搬嘅量越大。
舊做法：先攞齊、再廣播，每份搬兩次
材料解釋嘅傳統做法係 gather-and-broadcast：訓練卡先把各自嘅分片 all-gather 組回完整參數，再將完整參數 broadcast 去推理卡，每張推理卡取自己需要嘅分片。這樣每張推理卡會收到完整參數、但只用其當嘅分片，等於搬咗兩次。
NVIDIA 給出兩個數：
- Kimi K3：2.8 萬億參數，BF16 下約 5.6 TB 權重
- Qwen 3.8 2.4T A95B：2.4 萬億參數，約 4.8 TB
考慮 all-gather 同 broadcast 兩段，NVIDIA 估計邏輯上嘅傳輸量約為模型權重嘅兩倍，最大開源模型每次 refit 大約 10 TB。
新做法：只傳理論最小量
材料稱新 Reshard collective 嘅設計原則係：只傳理論上必需嘅最少權重數據，而非完整參數。NCCL M2N Reshard 係開源參考實作，喺 NVIDIA/nccl-extensions GitHub repo 提供。
材料沒有提供 NCCL M2N Reshard 嘅實測數據，只係技術設計説明。要留意呢篇係 NVIDIA 自家技術網誌，非獨立評測，亦冇第三方執行測試數字。
呢個同你有乜關係
RL 後訓練係目前 frontier 模型訓練嘅主要環節之一，若你真係要跑這類訓練，refit 嘅通訊開銷會直接影響訓練週期。呢篇文對做 MLOps 或訓練基建嘅人有參考價值，對一般用者影響有限。
模姐｜深度調教
主要參考：NVIDIA Technical Blog（Atom）, "Accelerating Reinforcement Learning Weight Refit with the Reshard Collective", 2026-11-06。
