発散の選択：検証可能な報酬を用いた強化学習における多様性崩壊を緩和するための見過ごされがちな鍵

要旨

検証可能な報酬を用いた強化学習（RLVR）による大規模言語モデル（LLM）のファインチューニングにおける中心的なパラドックスは、単一試行の精度（Pass@1）が向上するにもかかわらず、複数試行の性能（Pass@k）がしばしば低下するという現象である。これは、モデルが以前に獲得したスキルを失う「破滅的忘却」を伴うことが多い。これまでに様々な手法が提案されてきたが、発散項の選択と機能は、積極的な解決策として驚くほど検討されていない。我々は、標準的なRLVRの目的関数――モード探索的な逆KLダイバージェンスを使用するものも、発散項を完全に省くものも――が、知識保持のための重要なメカニズムを欠いていると主張する。逆KLはポリシーを狭めることでこの衰退を加速し、一方で発散項の不在はモデルが多様な知識基盤から逸脱するのを防ぐ手段を提供しない。我々は、発散項そのものを解決策として用いるという根本的な視点の転換を提案する。我々のフレームワークである「多様性保持型ハイブリッド強化学習（DPH-RL）」は、フォワードKLやJSダイバージェンスなどの質量カバー型fダイバージェンスを活用し、リハーサルメカニズムとして機能させる。初期ポリシーを継続的に参照することで、このアプローチはモデルに広範な解のカバレッジを維持させる。数学とSQL生成に関する広範な実験により、DPH-RLがPass@kの低下を解決するだけでなく、Pass@1とPass@kの両方をドメイン内およびドメイン外で改善することが示された。さらに、DPH-RLは、生成関数を用いてfダイバージェンスを計算するため、初期ポリシーからのサンプリングのみを必要とし、オンライン参照モデルを必要としないため、より訓練効率が高い。我々の研究は、RLVRを改善するための重要な、しかし見過ごされていた軸を強調し、適切な発散尺度の選択が、より汎用的で多様な推論モデルを構築するための強力なツールであることを示している。

English

A central paradox in fine-tuning Large Language Models (LLMs) with Reinforcement Learning with Verifiable Reward (RLVR) is the frequent degradation of multi-attempt performance (Pass@k) despite improvements in single-attempt accuracy (Pass@1). This is often accompanied by catastrophic forgetting, where models lose previously acquired skills. While various methods have been proposed, the choice and function of the divergence term have been surprisingly unexamined as a proactive solution. We argue that standard RLVR objectives -- both those using the mode-seeking reverse KL-divergence and those forgoing a divergence term entirely -- lack a crucial mechanism for knowledge retention. The reverse-KL actively accelerates this decay by narrowing the policy, while its absence provides no safeguard against the model drifting from its diverse knowledge base. We propose a fundamental shift in perspective: using the divergence term itself as the solution. Our framework, Diversity-Preserving Hybrid RL (DPH-RL), leverages mass-covering f-divergences (like forward-KL and JS-divergence) to function as a rehearsal mechanism. By continuously referencing the initial policy, this approach forces the model to maintain broad solution coverage. Extensive experiments on math and SQL generation demonstrate that DPH-RL not only resolves the Pass@k degradation but improves both Pass@1 and Pass@k in- and out-of-domain. Additionally, DPH-RL is more training-efficient because it computes f-divergence using generator functions, requiring only sampling from the initial policy and no online reference model. Our work highlights a crucial, overlooked axis for improving RLVR, demonstrating that the proper selection of a divergence measure is a powerful tool for building more general and diverse reasoning models.

発散の選択：検証可能な報酬を用いた強化学習における多様性崩壊を緩和するための見過ごされがちな鍵

The Choice of Divergence: A Neglected Key to Mitigating Diversity Collapse in Reinforcement Learning with Verifiable Reward

要旨

Support