RLVR에서 추론 커버리지를 확장하기 위한 난이도 적응형 트리 구조 정책 최적화

초록

검증 가능한 보상 기반 강화학습(RLVR)은 최근 대규모 추론 모델의 성공에서 중심적인 역할을 해 왔다. 그러나 RLVR은 단일 샘플 정확도를 크게 향상시키지만, 학습 중 제한된 탐색으로 인해 모델의 내재적 추론 커버리지(pass@k)를 확장하는 데는 종종 실패한다. 이를 해결하기 위해 우리는 pass@k를 향상시키기 위해 학습 시 롤아웃의 구조적 설계를 최적화한다. 우리의 분석은 세 가지 핵심 설계 원칙을 확인한다: (1) 난이도 적응형 롤아웃은 효율성 휴리스틱으로 기능하는 것을 넘어 pass@k를 확장하는 데 중요한 역할을 할 수 있다; (2) 트리 기반 롤아웃은 정답을 발견하는 데 있어 병렬 샘플링보다 우수하다; 그리고 (3) 문장 엔트로피 기반 분기는 토큰 수준 분기의 국소화 현상을 극복하여 의미적 다양성을 최대화한다. 이러한 통찰을 바탕으로 우리는 DATPO(난이도 적응형 문장 엔트로피 기반 트리 구조 정책 최적화)를 제안한다. DATPO는 난이도 적응형 트리 탐색을 형제 다양성 어드밴티지 항과 통합하여, 학습 중 추론 커버리지를 확장하기 위해 의미적 다양성을 명시적으로 촉진한다. 수학적 추론 벤치마크에서의 실험은 DATPO가 특히 pass@k에서 베이스라인을 능가하며, 이는 뛰어난 테스트 타임 스케일링 성능으로 직결됨을 보여준다.

English

Reinforcement Learning with Verifiable Rewards (RLVR) has been central to the recent success of Large Reasoning Models. However, while RLVR significantly improves single-sample accuracy, it often fails to expand the model's intrinsic reasoning coverage (pass@k) due to limited exploration during training. To address this, we optimize the structural design of train-time rollouts to enhance pass@k. Our analysis identifies three key design principles: (1) difficulty-adaptive rollout can play an important role in expanding pass@k, beyond serving as an efficiency heuristic; (2) tree-based rollout outperforms parallel sampling in discovering correct answers; and (3) sentence-entropy-guided forking overcomes the localization phenomenon of token-level branching to maximize semantic diversity. Building on these insights, we propose DATPO (Difficulty-Adaptive Sentence-entropy-guided Tree-structured Policy Optimization). DATPO integrates difficulty-adaptive tree search with a sibling-diversity advantage term, explicitly promoting semantic diversity to expand reasoning coverage during training. Experiments on mathematical reasoning benchmarks demonstrate that DATPO outperforms baselines especially in pass@k, which directly translates to superior test-time scaling performance.