입구는 잠겨 있고 내부는 열려 있다: RLVR이 해 공간을 좁히는 지점

초록

검증 가능한 보상 기반 강화학습(RLVR)은 단일 샘플 정확도(pass@1)를 크게 향상시키지만, 정책의 해 공간을 축소시켜 테스트 시 스케일링(test-time scaling)의 이득을 감소시킨다. 본 연구에서는 추론 궤적 내 어느 지점에서 이러한 폭이 상실되는지를 조사한다: 정책이 유효한 해 계열에 접근하지 못하는 것인가, 아니면 일단 시작된 계산을 완료하지 못하는 것인가? 접근과 실행을 분리하기 위해, 우리는 Qwen2.5-3B에 PPO를 적용한 설정과 Qwen2.5-3B-Instruct에 GRPO를 적용한 설정에서 Countdown 태스크를 분석한다. Countdown 태스크의 해 공간은 첫 번째 피연산자와 연산자에 의해 정의되는 이산적 진입 계열들로 완전히 열거될 수 있다. 두 훈련 설정 모두에서 해 커버리지는 최대 67%까지 감소하며, 모든 체크포인트에서 풀린 문제에서조차 절반으로 줄어든다. 이러한 축소는 진입 지점에 크게 집중되어 있음을 보여준다. 첫 번째 산술 연산 이전의 토큰별 우도 변화는 후속 추론 과정에서의 변화보다 11~16배 더 크다. 선택되지 않은 진입 접두사만 제공하면 접근도가 낮은 계열의 완료율이 10배 이상 회복되며(PPO에서 0.018→0.212), 이는 대안적 해가 여전히 실행 가능하지만 더 이상 시작되지 않음을 보여준다. 이러한 국소화 결과에 기반하여, 표면적 프롬프팅은 다양성 회복에 실패하는 반면, 진입 지점을 겨냥한 개입은 성공함을 확인한다. 후기 계층 파라미터를 초기 체크포인트의 파라미터와 보간하면 pass@1의 저하 없이 해 커버리지가 37% 향상된다. 마지막으로, 7B 및 14B 모델을 사용한 여섯 개의 수학 벤치마크 전반에서 초기 단계 엔트로피 붕괴가 반복적으로 나타나지만, 이것이 추론 최적화의 불가피한 부산물은 아님을 보여준다. SFT 베이스라인은 커버리지를 두 배 이상 보존하며, 단계적 SFT-DPO-RLVR 파이프라인은 초기 단계 엔트로피를 유지한다. 요약하면, 추론의 폭은 방 안이 아니라 문 앞에서 상실된다. 코드: https://github.com/ershiyidian/early-branch-locking

English

Reinforcement learning with verifiable rewards (RLVR) substantially improves single-sample accuracy (pass@1) but causes the policy's solution space to contract, diminishing the returns of test-time scaling. In this work, we investigate where inside a reasoning trajectory this breadth is lost: does the policy fail to access a valid solution family, or does it fail to execute computation once initiated? To disentangle access from execution, we analyze the Countdown task, whose solution space can be exhaustively enumerated into discrete entrance families defined by the first operand and operator, across PPO on Qwen2.5-3B and GRPO on Qwen2.5-3B-Instruct. Across both training setups, solution coverage falls by up to 67%, halving even on problems solved across all checkpoints. We show that this contraction is heavily concentrated at the entrance: per-token likelihood shifts are 11x--16x larger prior to the first arithmetic operation than during downstream reasoning. Supplying only an unselected entrance prefix restores completion rates in low-access families by over an order of magnitude (0.018 -> 0.212 under PPO), demonstrating that alternative solutions remain executable but are no longer initiated. Guided by this localization, we find that while surface prompting fails to recover diversity, entrance-targeted interventions succeed: late-layer parameter interpolation with early checkpoints increases solution coverage by 37% at no loss in pass@1. Finally, we show that early-step entropy collapse recurs across six math benchmarks with 7B and 14B models, but is not an inevitable byproduct of reasoning optimization: an SFT baseline preserves more than double the coverage, and staged SFT--DPO--RLVR pipelines retain early-step entropy. In summary, reasoning breadth is lost at the door, not inside the room. Code: https://github.com/ershiyidian/early-branch-locking.