Reinforce-Ada: Een Adaptief Bemonsteringsraamwerk voor Reinforce-Stijl LLM-training

Reinforce-Ada: An Adaptive Sampling Framework for Reinforce-Style LLM Training

October 6, 2025

Auteurs: Wei Xiong, Chenlu Ye, Baohao Liao, Hanze Dong, Xinxing Xu, Christof Monz, Jiang Bian, Nan Jiang, Tong Zhang

cs.AI

Samenvatting

Reinforcement learning toegepast op grote taalmodellen (LLMs) voor redeneertaken wordt vaak beperkt door instabiele schattingen van de gradient als gevolg van vaste en uniforme steekproeven van antwoorden over prompts. Eerder werk, zoals GVM-RAFT, pakt dit aan door dynamisch het inferentiebudget per prompt toe te wijzen om de stochastische gradientvariantie te minimaliseren onder een budgetbeperking. Geïnspireerd door dit inzicht stellen we Reinforce-Ada voor, een adaptief steekproefkader voor online RL-post-training van LLMs dat continu de steekproefinspanning herverdeelt naar de prompts met de grootste onzekerheid of leerpotentieel. In tegenstelling tot conventionele tweefasen-toewijzingsmethoden, verweeft Reinforce-Ada schatting en steekproefname in een online opeenvolgende eliminatieproces en stopt automatisch met steekproefname voor een prompt zodra voldoende signaal is verzameld. Om updates te stabiliseren, vormen we groepen met een vaste grootte en gedwongen beloningsdiversiteit en berekenen we voordeelbaselines met behulp van globale statistieken die zijn geaggregeerd over de adaptieve steekproeffase. Empirische resultaten over meerdere modelarchitecturen en redeneerbenchmarks laten zien dat Reinforce-Ada de convergentie versnelt en de uiteindelijke prestaties verbetert in vergelijking met GRPO, vooral bij gebruik van de gebalanceerde steekproefvariant. Ons werk benadrukt de centrale rol van variantiebewuste, adaptieve datacuratie bij het mogelijk maken van efficiënt en betrouwbaar reinforcement learning voor redeneervaardige LLMs. Code is beschikbaar op https://github.com/RLHFlow/Reinforce-Ada.

English

Reinforcement learning applied to large language models (LLMs) for reasoning tasks is often bottlenecked by unstable gradient estimates due to fixed and uniform sampling of responses across prompts. Prior work such as GVM-RAFT addresses this by dynamically allocating inference budget per prompt to minimize stochastic gradient variance under a budget constraint. Inspired by this insight, we propose Reinforce-Ada, an adaptive sampling framework for online RL post-training of LLMs that continuously reallocates sampling effort to the prompts with the greatest uncertainty or learning potential. Unlike conventional two-stage allocation methods, Reinforce-Ada interleaves estimation and sampling in an online successive elimination process, and automatically stops sampling for a prompt once sufficient signal is collected. To stabilize updates, we form fixed-size groups with enforced reward diversity and compute advantage baselines using global statistics aggregated over the adaptive sampling phase. Empirical results across multiple model architectures and reasoning benchmarks show that Reinforce-Ada accelerates convergence and improves final performance compared to GRPO, especially when using the balanced sampling variant. Our work highlights the central role of variance-aware, adaptive data curation in enabling efficient and reliable reinforcement learning for reasoning-capable LLMs. Code is available at https://github.com/RLHFlow/Reinforce-Ada.