入口は施錠され、内部は開放されている：RLVRが解空間を狭める状況

要旨

検証可能な報酬を用いた強化学習（RLVR）は、単一サンプル精度（pass@1）を大幅に向上させる一方で、方策の解空間を収縮させ、テスト時スケーリングの効果を減退させる。本研究では、推論軌跡のどの時点でこの多様性が失われるのかを調査する。すなわち、方策は有効な解ファミリーへアクセスできないのか、それとも一度開始された計算の実行に失敗するのかを問う。アクセスと実行を切り分けるため、Qwen2.5-3Bに対するPPOとQwen2.5-3B-Instructに対するGRPOの両方を用いてCountdownタスクを分析する。このタスクの解空間は、最初のオペランドと演算子によって定義される離散的な入口ファミリーへと網羅的に列挙できる。両方の学習設定において、解のカバレッジは最大67%低下し、全チェックポイントで解かれた問題に限っても半減する。この収縮は入口に強く集中していることを示す。すなわち、最初の算術演算より前のトークン単位の尤度変化は、後続の推論中よりも11倍～16倍大きい。未選択の入口プレフィックスのみを与えると、アクセス頻度の低いファミリーの完了率が一桁以上回復する（PPOで0.018→0.212）。これは、代替解が依然として実行可能であるが、もはや開始されていないことを示している。この局在性の知見に基づき、表層的なプロンプティングは多様性の回復に失敗する一方で、入口を標的とした介入は成功することを見いだした。具体的には、後期層のパラメータを初期チェックポイントと補間することで、pass@1を犠牲にすることなく解のカバレッジが37%向上する。最後に、初期ステップのエントロピー崩壊が、7Bおよび14Bモデルを用いた6つの数学ベンチマークで繰り返し発生することを示す。しかし、これは推論最適化の不可避の副産物ではない。SFTベースラインは2倍以上のカバレッジを維持し、SFT→DPO→RLVRの段階的パイプラインは初期ステップのエントロピーを保持する。要約すると、推論の広がりは部屋の中ではなく、入り口で失われる。コード: https://github.com/ershiyidian/early-branch-locking.

English

Reinforcement learning with verifiable rewards (RLVR) substantially improves single-sample accuracy (pass@1) but causes the policy's solution space to contract, diminishing the returns of test-time scaling. In this work, we investigate where inside a reasoning trajectory this breadth is lost: does the policy fail to access a valid solution family, or does it fail to execute computation once initiated? To disentangle access from execution, we analyze the Countdown task, whose solution space can be exhaustively enumerated into discrete entrance families defined by the first operand and operator, across PPO on Qwen2.5-3B and GRPO on Qwen2.5-3B-Instruct. Across both training setups, solution coverage falls by up to 67%, halving even on problems solved across all checkpoints. We show that this contraction is heavily concentrated at the entrance: per-token likelihood shifts are 11x--16x larger prior to the first arithmetic operation than during downstream reasoning. Supplying only an unselected entrance prefix restores completion rates in low-access families by over an order of magnitude (0.018 -> 0.212 under PPO), demonstrating that alternative solutions remain executable but are no longer initiated. Guided by this localization, we find that while surface prompting fails to recover diversity, entrance-targeted interventions succeed: late-layer parameter interpolation with early checkpoints increases solution coverage by 37% at no loss in pass@1. Finally, we show that early-step entropy collapse recurs across six math benchmarks with 7B and 14B models, but is not an inevitable byproduct of reasoning optimization: an SFT baseline preserves more than double the coverage, and staged SFT--DPO--RLVR pipelines retain early-step entropy. In summary, reasoning breadth is lost at the door, not inside the room. Code: https://github.com/ershiyidian/early-branch-locking.