RLVRにおける推論カバレッジ拡大のための難易度適応型木構造方策最適化

要旨

検証可能な報酬を用いた強化学習（RLVR）は、近年の大規模推論モデルの成功の中核をなしてきた。しかし、RLVRは単一サンプル精度を大幅に向上させる一方で、訓練中の探索が限られているため、モデルが本来持つ推論カバレッジ（pass@k）を拡大できないことが多い。これに対処するため、我々はpass@kを高めるべく、訓練時ロールアウトの構造設計を最適化する。我々の分析は三つの重要な設計原則を明らかにする：(1) 難易度適応型ロールアウトは、効率化のヒューリスティックとしての役割にとどまらず、pass@kの拡大に重要な役割を果たしうる；(2) 木構造ベースのロールアウトは、正解の発見において並列サンプリングを上回る；(3) 文エントロピー誘導型分岐は、トークンレベル分岐の局所化現象を克服し、意味的多様性を最大化する。これらの知見に基づき、我々はDATPO（Difficulty-Adaptive Sentence-entropy-guided Tree-structured Policy Optimization）を提案する。DATPOは、難易度適応型木探索を兄弟間多様性アドバンテージ項と統合し、訓練中に意味的多様性を明示的に促進して推論カバレッジを拡大する。数学的推論ベンチマークにおける実験は、DATPOが特にpass@kにおいてベースラインを上回ることを示しており、これは優れたテスト時スケーリング性能に直結する。

English

Reinforcement Learning with Verifiable Rewards (RLVR) has been central to the recent success of Large Reasoning Models. However, while RLVR significantly improves single-sample accuracy, it often fails to expand the model's intrinsic reasoning coverage (pass@k) due to limited exploration during training. To address this, we optimize the structural design of train-time rollouts to enhance pass@k. Our analysis identifies three key design principles: (1) difficulty-adaptive rollout can play an important role in expanding pass@k, beyond serving as an efficiency heuristic; (2) tree-based rollout outperforms parallel sampling in discovering correct answers; and (3) sentence-entropy-guided forking overcomes the localization phenomenon of token-level branching to maximize semantic diversity. Building on these insights, we propose DATPO (Difficulty-Adaptive Sentence-entropy-guided Tree-structured Policy Optimization). DATPO integrates difficulty-adaptive tree search with a sibling-diversity advantage term, explicitly promoting semantic diversity to expand reasoning coverage during training. Experiments on mathematical reasoning benchmarks demonstrate that DATPO outperforms baselines especially in pass@k, which directly translates to superior test-time scaling performance.