異步快，但訓喺舊權重上面
vLLM 喺 2026 年 11 月 6 日嘅博文引述 NVIDIA Research 同 Inferact（Jian Hu 等）嘅新論文《REINFORCE Zero: Kernel Alignment Unlocks Stable Asynchronous RL with Importance Sampling》，解釋異步強化學習（asynchronous RL）最大嘅問題唔係慢，而係它「天生 off-policy」：rollout 持續生成樣本，learner 同時更新權重，所以一條喺權重版本 v 生成嘅樣本，到訓練時已經係版本 k，而 k − v 並非小數——論文喺數學推理上跑 lag 2 同 8，喺 agentic tool use 上仲跑到 lag 64。
標準做法係重要性採樣（importance sampling, IS）：將每個 token 按 π / μ 重新加權，即 learner 而家嘅概率除以前 rollout 引擎當時記錄嘅概率。但補償只補到一半。
兩類 gap，行為完全唔同
logprob 差距可以拆成兩項：
（i）Weight lag：learner 當前權重同 rollout 生成時嘅權重之間嘅差。呢項隨每次小更新平滑累積，IS 本為對正呢個而設。
（ii）Kernel mismatch：用同一套權重，rollout 引擎同訓練引擎計出唔同數字。呢項來自 batch 組成同數值執行差異，係同權重都會存在嘅波動，IS 修唔到。
論文用 D3（每次更新對每個 token 嘅 w − 1 − log w 平均，w 係重要性權重）去量化呢兩項。喺 DeepSeek-R1-Distill-Qwen-1.5B 上，對齊 kernel 後 D3 嘅峰中比明顯低於用標準 kernel 加 IS 嘅情況。
對齊 kernel 後發生乜事
將 rollout 同訓練 kernel 逐位元對齊（bit-for-bit aligned）之後：
- 唔需要樣本丟棄閘（sample-rejection gate）；
- 用無剪裁嘅 IS（unclipped IS，即唔對重要性權重設上下限）就可以補返剩低嘅 weight lag；
- 喺 lag 64 下訓練 20,000 次更新依然穩定；
- 訓練步吞吐量達到對齊 kernel 嘅同步 RL 嘅 2.40 倍。
對齊代價：喺 DeepSeek-V4-Flash 上，用快 kernel 對齊會令 rollout 吞吐下降 8.7%。agent skill 現可對每個新模型自動執行對齊。
覆蓋範圍
- DeepSeek-V4.1-Flash：DAPO rollout 步在快速基準 10% 以內；
- Kimi K3.1：day 0 支持；
- AMD MI355X：DeepSeek-V4-Flash 同 Kimi K3.1 都有對齊。
全部程式碼喺 GitHub：Inferact/zero-mismatch-rl。
模姐驗嚇貨
呢篇文嘅價值唔係「又有一個新模型支持」，而係佢清楚拆解咗「為啥異步 RL 唔係簡單加 IS 就搞掂」：weight lag 同 kernel mismatch 係兩種物理性質唔同嘅錯誤，一個平滑累積，一個同權重無關但持續存在。呢個分解喺工程上直接決定咗「對齊 kernel 係必要條件，唔係可選優化」。
AMD MI355X 支持嘅 rollout 同訓練設定、batch size、顯存配置冇詳細披露。如果你正考慮將異步 RL 帶入生產，呢篇值得當「對齊 kernel」嘅技術參考嚟讀，唔好當「vLLM 已解決所有異步 RL 問題」嚟讀。
模姐｜深度調教
