Reinforce-Ada : Un cadre d'échantillonnage adaptatif pour l'entraînement de LLM de type Reinforce

Reinforce-Ada: An Adaptive Sampling Framework for Reinforce-Style LLM Training

October 6, 2025

papers.authors: Wei Xiong, Chenlu Ye, Baohao Liao, Hanze Dong, Xinxing Xu, Christof Monz, Jiang Bian, Nan Jiang, Tong Zhang

cs.AI

papers.abstract

L'apprentissage par renforcement appliqué aux grands modèles de langage (LLMs) pour les tâches de raisonnement est souvent limité par des estimations de gradient instables dues à un échantillonnage fixe et uniforme des réponses à travers les prompts. Des travaux antérieurs, tels que GVM-RAFT, abordent ce problème en allouant dynamiquement un budget d'inférence par prompt pour minimiser la variance stochastique du gradient sous une contrainte budgétaire. Inspirés par cette idée, nous proposons Reinforce-Ada, un cadre d'échantillonnage adaptatif pour l'entraînement en ligne par renforcement des LLMs, qui réalloue continuellement l'effort d'échantillonnage aux prompts présentant la plus grande incertitude ou le plus grand potentiel d'apprentissage. Contrairement aux méthodes conventionnelles d'allocation en deux étapes, Reinforce-Ada entrelace l'estimation et l'échantillonnage dans un processus d'élimination successive en ligne, et arrête automatiquement l'échantillonnage pour un prompt une fois qu'un signal suffisant est collecté. Pour stabiliser les mises à jour, nous formons des groupes de taille fixe avec une diversité de récompenses imposée et calculons des bases d'avantage en utilisant des statistiques globales agrégées sur la phase d'échantillonnage adaptatif. Les résultats empiriques sur plusieurs architectures de modèles et benchmarks de raisonnement montrent que Reinforce-Ada accélère la convergence et améliore les performances finales par rapport à GRPO, en particulier lors de l'utilisation de la variante d'échantillonnage équilibré. Notre travail met en lumière le rôle central de la curation de données adaptative et consciente de la variance dans l'activation d'un apprentissage par renforcement efficace et fiable pour les LLMs capables de raisonnement. Le code est disponible à l'adresse suivante : https://github.com/RLHFlow/Reinforce-Ada.

English

Reinforcement learning applied to large language models (LLMs) for reasoning tasks is often bottlenecked by unstable gradient estimates due to fixed and uniform sampling of responses across prompts. Prior work such as GVM-RAFT addresses this by dynamically allocating inference budget per prompt to minimize stochastic gradient variance under a budget constraint. Inspired by this insight, we propose Reinforce-Ada, an adaptive sampling framework for online RL post-training of LLMs that continuously reallocates sampling effort to the prompts with the greatest uncertainty or learning potential. Unlike conventional two-stage allocation methods, Reinforce-Ada interleaves estimation and sampling in an online successive elimination process, and automatically stops sampling for a prompt once sufficient signal is collected. To stabilize updates, we form fixed-size groups with enforced reward diversity and compute advantage baselines using global statistics aggregated over the adaptive sampling phase. Empirical results across multiple model architectures and reasoning benchmarks show that Reinforce-Ada accelerates convergence and improves final performance compared to GRPO, especially when using the balanced sampling variant. Our work highlights the central role of variance-aware, adaptive data curation in enabling efficient and reliable reinforcement learning for reasoning-capable LLMs. Code is available at https://github.com/RLHFlow/Reinforce-Ada.