Reinforce-Ada: Ein adaptives Sampling-Framework für Reinforce-basiertes LLM-Training

Reinforce-Ada: An Adaptive Sampling Framework for Reinforce-Style LLM Training

October 6, 2025

papers.authors: Wei Xiong, Chenlu Ye, Baohao Liao, Hanze Dong, Xinxing Xu, Christof Monz, Jiang Bian, Nan Jiang, Tong Zhang

cs.AI

papers.abstract

Reinforcement Learning, das auf große Sprachmodelle (LLMs) für Reasoning-Aufgaben angewendet wird, wird häufig durch instabile Gradientenschätzungen behindert, die auf einer festen und gleichmäßigen Stichprobenziehung von Antworten über verschiedene Prompts hinweg beruhen. Vorherige Arbeiten wie GVM-RAFT adressieren dies, indem sie das Inferenzbudget pro Prompt dynamisch zuweisen, um die Varianz der stochastischen Gradienten unter einer Budgetbeschränkung zu minimieren. Inspiriert von dieser Erkenntnis schlagen wir Reinforce-Ada vor, ein adaptives Sampling-Framework für das Online-RL-Post-Training von LLMs, das kontinuierlich den Sampling-Aufwand auf die Prompts mit der größten Unsicherheit oder dem größten Lernpotenzial umverteilt. Im Gegensatz zu konventionellen zweistufigen Zuweisungsmethoden verknüpft Reinforce-Ada Schätzung und Sampling in einem Online-Successive-Elimination-Prozess und beendet das Sampling für einen Prompt automatisch, sobald ausreichend Signal gesammelt wurde. Um die Aktualisierungen zu stabilisieren, bilden wir feste Größen-Gruppen mit erzwungener Belohnungsvielfalt und berechnen Vorteilsbaselines unter Verwendung globaler Statistiken, die über die adaptive Sampling-Phase aggregiert werden. Empirische Ergebnisse über mehrere Modellarchitekturen und Reasoning-Benchmarks hinweg zeigen, dass Reinforce-Ada die Konvergenz beschleunigt und die Endleistung im Vergleich zu GRPO verbessert, insbesondere bei Verwendung der ausgewogenen Sampling-Variante. Unsere Arbeit unterstreicht die zentrale Rolle der varianzbewussten, adaptiven Datenkuratierung bei der Ermöglichung eines effizienten und zuverlässigen Reinforcement Learning für reasoning-fähige LLMs. Der Code ist verfügbar unter https://github.com/RLHFlow/Reinforce-Ada.

English

Reinforcement learning applied to large language models (LLMs) for reasoning tasks is often bottlenecked by unstable gradient estimates due to fixed and uniform sampling of responses across prompts. Prior work such as GVM-RAFT addresses this by dynamically allocating inference budget per prompt to minimize stochastic gradient variance under a budget constraint. Inspired by this insight, we propose Reinforce-Ada, an adaptive sampling framework for online RL post-training of LLMs that continuously reallocates sampling effort to the prompts with the greatest uncertainty or learning potential. Unlike conventional two-stage allocation methods, Reinforce-Ada interleaves estimation and sampling in an online successive elimination process, and automatically stops sampling for a prompt once sufficient signal is collected. To stabilize updates, we form fixed-size groups with enforced reward diversity and compute advantage baselines using global statistics aggregated over the adaptive sampling phase. Empirical results across multiple model architectures and reasoning benchmarks show that Reinforce-Ada accelerates convergence and improves final performance compared to GRPO, especially when using the balanced sampling variant. Our work highlights the central role of variance-aware, adaptive data curation in enabling efficient and reliable reinforcement learning for reasoning-capable LLMs. Code is available at https://github.com/RLHFlow/Reinforce-Ada.