Reinforce-Ada: 強化学習スタイルの大規模言語モデルトレーニングのための適応的サンプリングフレームワーク

Reinforce-Ada: An Adaptive Sampling Framework for Reinforce-Style LLM Training

October 6, 2025

著者: Wei Xiong, Chenlu Ye, Baohao Liao, Hanze Dong, Xinxing Xu, Christof Monz, Jiang Bian, Nan Jiang, Tong Zhang

cs.AI

要旨

大規模言語モデル（LLM）に強化学習を適用して推論タスクを行う場合、プロンプト全体での固定かつ均一な応答サンプリングにより、不安定な勾配推定がボトルネックとなることが多い。先行研究であるGVM-RAFTは、予算制約下で確率的勾配の分散を最小化するために、プロンプトごとに推論予算を動的に割り当てることでこの問題に対処している。この知見に基づき、本論文ではReinforce-Adaを提案する。これは、LLMのオンラインRLポストトレーニングのための適応的サンプリングフレームワークであり、最大の不確実性または学習ポテンシャルを持つプロンプトにサンプリング努力を継続的に再割り当てする。従来の二段階割り当て法とは異なり、Reinforce-Adaはオンライン逐次消去プロセスにおいて推定とサンプリングを交互に行い、十分な信号が収集された時点で自動的にプロンプトのサンプリングを停止する。更新を安定化するために、報酬の多様性を強制した固定サイズのグループを形成し、適応的サンプリングフェーズで集約されたグローバル統計を使用してアドバンテージベースラインを計算する。複数のモデルアーキテクチャと推論ベンチマークでの実験結果は、Reinforce-AdaがGRPOと比較して収束を加速し、特にバランスサンプリングバリアントを使用した場合に最終的な性能を向上させることを示している。本研究は、推論能力を持つLLMの効率的かつ信頼性の高い強化学習を可能にするために、分散を意識した適応的データキュレーションの中心的な役割を強調している。コードはhttps://github.com/RLHFlow/Reinforce-Adaで公開されている。

English

Reinforcement learning applied to large language models (LLMs) for reasoning tasks is often bottlenecked by unstable gradient estimates due to fixed and uniform sampling of responses across prompts. Prior work such as GVM-RAFT addresses this by dynamically allocating inference budget per prompt to minimize stochastic gradient variance under a budget constraint. Inspired by this insight, we propose Reinforce-Ada, an adaptive sampling framework for online RL post-training of LLMs that continuously reallocates sampling effort to the prompts with the greatest uncertainty or learning potential. Unlike conventional two-stage allocation methods, Reinforce-Ada interleaves estimation and sampling in an online successive elimination process, and automatically stops sampling for a prompt once sufficient signal is collected. To stabilize updates, we form fixed-size groups with enforced reward diversity and compute advantage baselines using global statistics aggregated over the adaptive sampling phase. Empirical results across multiple model architectures and reasoning benchmarks show that Reinforce-Ada accelerates convergence and improves final performance compared to GRPO, especially when using the balanced sampling variant. Our work highlights the central role of variance-aware, adaptive data curation in enabling efficient and reliable reinforcement learning for reasoning-capable LLMs. Code is available at https://github.com/RLHFlow/Reinforce-Ada.