온-폴리시 최적화에서의 검증기 유도 서포트 재구성

초록

우리는 검증 가능한 보상 기반 온-폴리시 강화 학습(RLVR)이 현재 목표를 향상시키는 반면, 이후 목표에 대한 성공적인 행동을 샘플링하고 강화하기에는 너무 드물게 만들 수 있음을 보인다. 우리는 이를 검증기 유발 지지 집합 재형성(verifier-induced support reshaping)이라 부르고, 유효 보상 가능 지지 집합을 고정 롤아웃 예산 내에서 도달 가능한 성공 궤적들로 정의한다. 두 모델 계열에 걸쳐 우리는 수학적 추론과 제약 조건이 있는 지시 수행에 대해 반복적인 검증기 채점 샘플링과 양방향 훈련을 통해 이 효과를 연구하며, 반대 검증기를 사용한 순차적 훈련도 포함한다. Math-RLVR은 평균 지시 수행 성공률을 높이지만, 반복 샘플링에서 성공적인 응답이 하나라도 있는 프롬프트의 수를 감소시킨다. Qwen3-8B-Base로 IFEval에서 pass@1은 6.5퍼센트포인트 상승하는 반면 best@32는 9.8퍼센트포인트 하락하며, 동일한 발산이 두 모델과 IF 벤치마크 모두에서 나타난다. 반대로, IF-RLVR은 수학 응답을 단계별 서두에서 직접 답변 쪽으로 이동시키고, 샘플링 예산 전반에서 best@k를 낮추며, 이후 Math-RLVR을 위한 보상 변동성을 감소시킨다. 토큰 분포 분석과 통제된 서두 개입 실험은 이러한 변화가 응답의 처음 몇 개 토큰에 집중됨을 보여준다. RLVR은 기본 정책에 이미 존재하는 서두들을 주로 재순위화하며, 선택된 서두는 수학 탐색 가능성에 인과적으로 영향을 미친다. 테스트된 참조 정책 제약, 라우팅 사전, 온-폴리시 증류는 교차 작업 지지 집합을 부분적으로만 보존한다. MathIF와 ReasonIF는 한계적 이득이 정확성과 제약 조건을 모두 충족하는 응답으로 부분적으로만 전환됨을 보여준다. 따라서 최종 지표의 개선은 온-폴리시 최적화 하에서 미래의 훈련 가능성이나 결합 능력을 보장하지 않는다. 코드는 https://github.com/sylvain-wei/verifier-induced-support-reshaping 에서 확인할 수 있다.

English

We show that on-policy reinforcement learning with verifiable rewards (RLVR) can improve the current objective while making successful behaviors for later objectives too rare to sample and reinforce. We call this verifier-induced support reshaping and define effective rewardable support as successful trajectories reachable within a fixed rollout budget. Across two model families, we study this effect through repeated verifier-scored sampling and bidirectional training on mathematical reasoning and constrained instruction following, including sequential training with the opposite verifier. Math-RLVR raises average instruction-following success but reduces the number of prompts with any successful response under repeated sampling. On IFEval with Qwen3-8B-Base, pass@1 rises by 6.5 percentage points while best@32 falls by 9.8 percentage points, and the same divergence appears across both models and IF benchmarks. Conversely, IF-RLVR shifts math responses from step-by-step openings toward direct answers, lowers best@k across sampling budgets, and reduces reward variation for later Math-RLVR. Token-distribution analyses and controlled opening interventions show that these changes concentrate in the first few response tokens. RLVR mainly reranks openings already available in the base policy, and the selected opening causally affects math searchability. The tested reference-policy constraints, routing priors, and on-policy distillation preserve cross-task support only partially; MathIF and ReasonIF show that marginal gains translate only partly into responses that are both correct and constraint-following. Therefore, endpoint improvements do not guarantee future trainability or joint capability under on-policy optimization. Code is available at https://github.com/sylvain-wei/verifier-induced-support-reshaping