大規模言語モデル（LLM）推論における強化学習のサンプリング基準の再考：能力-難易度整合性の観点から

Rethinking the Sampling Criteria in Reinforcement Learning for LLM Reasoning: A Competence-Difficulty Alignment Perspective

May 23, 2025

著者: Deyang Kong, Qi Guo, Xiangyu Xi, Wei Wang, Jingang Wang, Xunliang Cai, Shikun Zhang, Wei Ye

cs.AI

要旨

強化学習は大規模言語モデルの推論能力を向上させる可能性を示しているが、ロールアウト段階でのサンプル効率の低さがスケーリングの課題となっている。既存の手法では、問題の難易度に基づいてスケジューリングを行うことで効率化を図ろうとしている。しかし、これらのアプローチでは、問題難易度の推定が不安定かつ偏りが生じやすく、RLトレーニングにおけるモデルの能力と問題難易度の整合性を捉えることができず、最適な結果が得られない。これらの課題を解決するため、本論文ではCompetence-Difficulty Alignment Sampling (CDAS)を提案する。CDASは、問題の過去のパフォーマンスの差異を集約することで、問題難易度を正確かつ安定的に推定する。さらに、モデルの能力を定量化し、固定点システムを用いてモデルの現在の能力と整合する難易度の問題を適応的に選択する。様々な難易度の数学的ベンチマークでの実験結果から、CDASは精度と効率の両面で大幅な改善を達成していることが示された。CDASはベースラインに対して最高の平均精度を達成し、DAPOの競合戦略であるDynamic Samplingと比較して2.33倍の速度優位性を示した。

English

Reinforcement learning exhibits potential in enhancing the reasoning abilities of large language models, yet it is hard to scale for the low sample efficiency during the rollout phase. Existing methods attempt to improve efficiency by scheduling problems based on problem difficulties. However, these approaches suffer from unstable and biased estimations of problem difficulty and fail to capture the alignment between model competence and problem difficulty in RL training, leading to suboptimal results. To tackle these limitations, this paper introduces Competence-Difficulty Alignment Sampling (CDAS), which enables accurate and stable estimation of problem difficulties by aggregating historical performance discrepancies of problems. Then the model competence is quantified to adaptively select problems whose difficulty is in alignment with the model's current competence using a fixed-point system. Experimental results across a range of challenging mathematical benchmarks show that CDAS achieves great improvements in both accuracy and efficiency. CDAS attains the highest average accuracy against baselines and exhibits significant speed advantages compared to Dynamic Sampling, a competitive strategy in DAPO, which is 2.33 times slower than CDAS.