SAF-OPD: 安定的アドバンテージ融合を用いたオン方策蒸留

要旨

検証可能な報酬を用いた強化学習（RLVR）は、応答レベルの単一の報酬をすべてのトークンにブロードキャストする。一方、オンポリシー蒸留（OPD）は、より強力な教師と照合して各トークンを評価し、密なアドバンテージを得るが、性能は教師の品質に頭打ちとなり、それを超える探索を妨げる。両者の相補性からRLVRとOPDの組み合わせは有望であるが、固定係数で二つのアドバンテージを融合すると、二つの誤較正によりエントロピー崩壊が引き起こされることを我々は見いだした。すなわち、大きさの不一致（トークンレベルのOPDアドバンテージが有界なRLVRアドバンテージをはるかに超えて急増し、その信号を消し去る）と、時間的不一致（全強度のOPDを継続すると、生徒を教師に向かって引き寄せ続け、教師を超えるために必要な探索が制限される）である。我々は、OPDアドバンテージのみに適用する軽量な4段階パイプラインを通じて両問題を解決する、安定的アドバンテージ融合フレームワークSAFを提案する。これは、大きさ制御のためのスパース化後圧縮メカニズムと、時間制御のためのウォームアップ後アニーリングメカニズムを組み合わせたものであり、各段階は独立に切り替え可能で、オーバーヘッドは無視できるほど小さい。GRPOを用いてRLVRを実装し、Qwen3-1.7B/4B/8Bを用いて、7つの数学的推論およびコード生成ベンチマークにわたりSAFを評価した。SAFはエントロピー崩壊を回避し、固定係数のGRPO+OPD融合を一貫して上回り、6つのモデル・ドメイン設定すべてにおいて総合スコアを0.51～2.70%向上させ、より安定した学習を達成する。

English

Reinforcement learning with verifiable rewards (RLVR) broadcasts a single response-level reward to every token, while on-policy distillation (OPD) scores each token against a stronger teacher for a dense advantage but caps performance at teacher quality and discourages exploration beyond it. Their complementarity makes combining RLVR and OPD promising, but we find that fusing the two advantages with a fixed coefficient triggers entropy collapse from two miscalibrations: a magnitude mismatch, where token-level OPD advantages can spike far beyond the bounded RLVR advantage and erase its signal, and a temporal mismatch, where sustained full-strength OPD keeps pulling the student toward the teacher and limits exploration needed to surpass it. We propose SAF, a Stable Advantage Fusion framework that resolves both issues via a lightweight, four-stage pipeline applied only to the OPD advantage: a sparsify-then-compress mechanism for magnitude control paired with a warm-up-then-anneal mechanism for temporal control, with each stage independently switchable and adding negligible overhead. Instantiating RLVR with GRPO, we evaluate SAF across seven mathematical reasoning and code generation benchmarks with Qwen3-1.7B/4B/8B: SAF avoids entropy collapse and consistently outperforms fixed-coefficient GRPO+OPD fusion, improving the aggregate score by 0.51-2.70% across all six model-domain settings while achieving more stable training.