直接オンポリシー蒸留による弱から強への汎化

要旨

検証可能な報酬を用いた強化学習（RLVR）は、言語モデルの推論能力を向上させる強力な手法だが、新しい強力なモデルに適用するたびにコストがかかる。なぜなら、訓練中にターゲットモデルが多くのロールアウトを生成する必要があるからだ。モデルが大規模化するにつれて、事後学習そのものがボトルネックとなる。本研究では、弱から強への代替アプローチを検討する。すなわち、ロールアウトがより安価な小規模モデルでRLを実行し、そのRL実行で得られた知見を再利用して、より強力なターゲットモデルを改善する。RL後の弱い教師を直接蒸留するだけでは不十分である。なぜなら、教師の最終的な方策には、有用なRLの利得と小規模モデルの限界が混在しているからだ。我々は、オン方策直接蒸留（Direct-OPD）を提案する。これは、教師のRL誘導方策シフトを転移する手法である。Direct-OPDは、RL後の教師とRL前の自身の参照モデルを比較し、それらの対数比を学生モデルに対する密な暗黙の報酬として扱う。平たく言えば、チェックポイントのペアは、RLによって弱いモデルがどの行動を取る可能性が高まったか、または低くなったかを示しており、Direct-OPDはその信号をより強力な学生の自身のオン方策状態に適用する。これにより、弱いモデルのRLによる監視信号を直接再利用し、ターゲットモデルに対して疎な報酬のRLを実行する必要がなくなる。実験的に、Direct-OPDは一貫して弱い教師を活用し、より強力なターゲットモデルを改善する。特に、Qwen3-1.7BをAIME 2024において48.3%から58.3%に向上させ、その際、8基のA100 GPU上でわずか4時間しか要しない。これは、ステップマッチングによる直接RLを上回り、複数の方策シフトの逐次合成も可能にする。本研究の結果は、RLの成果を最終的な模倣対象としてだけでなく、暗黙の報酬信号としてモデルスケール間で再利用できることを示している。

English

Reinforcement learning with verifiable rewards (RLVR) is a powerful recipe for improving language-model reasoning, but it is expensive to repeat on every new strong model because the target model must generate many rollouts during training. As models scale, post-training itself becomes a bottleneck. We study a weak-to-strong alternative: run RL on a smaller model where rollouts are cheaper, then reuse what that RL run learned to improve a stronger target model. Directly distilling the post-RL weak teacher is not enough, because the teacher's final policy mixes useful RL gains with the limitations of the smaller model. We propose Direct On-Policy Distillation (Direct-OPD), which transfers the teacher's RL-induced policy shift instead. Direct-OPD compares the post-RL teacher with its own pre-RL reference and treats their log-ratio as a dense implicit reward for the student. In plain terms, the checkpoint pair tells us which actions RL made the weak model more or less likely to take, and Direct-OPD applies that signal on the stronger student's own on-policy states. This directly reuses the weak model's RL supervision signal without running sparse-reward RL on the target model. Empirically, Direct-OPD consistently leverages weaker teachers to improve stronger target models; notably, it boosts Qwen3-1.7B from 48.3% to 58.3% on AIME 2024 in just 4 hours on 8 A100 GPUs. It outperforms step-matched direct RL and enables the sequential composition of multiple policy shifts. Our results show that RL outcomes can be reused across model scales as implicit reward signals, not merely as final models to imitate.

直接オンポリシー蒸留による弱から強への汎化

Weak-to-Strong Generalization via Direct On-Policy Distillation

要旨

Support