オンポリシー最適化における検証器誘導のサポート再形成

要旨

我々は、検証可能な報酬を用いたオンポリシー強化学習(RLVR)が、現在の目的を改善する一方で、後の目的にとって成功となる行動を、サンプリングして強化するには稀すぎるものにしてしまうことを示す。これを検証器誘発サポート再形成と呼び、実効的な報酬可能サポートを、固定ロールアウト予算内で到達可能な成功軌道として定義する。2つのモデルファミリーにわたり、数学的推論と制約付き指示追従において、検証器スコア付きサンプリングの反復と双方向トレーニング(逆の検証器を用いた逐次トレーニングを含む)を通じて、この効果を研究する。Math-RLVRは平均的な指示追従成功率を高めるが、反復サンプリング下で何らかの成功応答があるプロンプト数を減少させる。Qwen3-8B-Baseを用いたIFEvalでは、pass@1は6.5パーセントポイント上昇する一方、best@32は9.8パーセントポイント低下し、同じ乖離が両モデルおよびIFベンチマーク全体で見られる。逆に、IF-RLVRは数学応答を段階的な書き出しから直接的な回答へと移行させ、サンプリング予算全体でbest@kを低下させ、後続のMath-RLVRの報酬変動を減少させる。トークン分布分析と制御された書き出し介入は、これらの変化が応答の最初の数トークンに集中することを示す。RLVRは主にベース方策ですでに利用可能な書き出しを再ランク付けしており、選択された書き出しは数学の探索可能性に因果的に影響する。試験した参照方策制約、ルーティング事前分布、オンポリシー蒸留は、クロスタスクサポートを部分的にしか保持しない。MathIFとReasonIFは、限界的な利得が、正しくかつ制約を満たす応答に部分的にしか変換されないことを示す。したがって、エンドポイントの改善は、オンポリシー最適化下での将来の訓練可能性や統合能力を保証しない。コードは https://github.com/sylvain-wei/verifier-induced-support-reshaping で入手できる。

English

We show that on-policy reinforcement learning with verifiable rewards (RLVR) can improve the current objective while making successful behaviors for later objectives too rare to sample and reinforce. We call this verifier-induced support reshaping and define effective rewardable support as successful trajectories reachable within a fixed rollout budget. Across two model families, we study this effect through repeated verifier-scored sampling and bidirectional training on mathematical reasoning and constrained instruction following, including sequential training with the opposite verifier. Math-RLVR raises average instruction-following success but reduces the number of prompts with any successful response under repeated sampling. On IFEval with Qwen3-8B-Base, pass@1 rises by 6.5 percentage points while best@32 falls by 9.8 percentage points, and the same divergence appears across both models and IF benchmarks. Conversely, IF-RLVR shifts math responses from step-by-step openings toward direct answers, lowers best@k across sampling budgets, and reduces reward variation for later Math-RLVR. Token-distribution analyses and controlled opening interventions show that these changes concentrate in the first few response tokens. RLVR mainly reranks openings already available in the base policy, and the selected opening causally affects math searchability. The tested reference-policy constraints, routing priors, and on-policy distillation preserve cross-task support only partially; MathIF and ReasonIF show that marginal gains translate only partly into responses that are both correct and constraint-following. Therefore, endpoint improvements do not guarantee future trainability or joint capability under on-policy optimization. Code is available at https://github.com/sylvain-wei/verifier-induced-support-reshaping