Reinforce-Ada: Un Framework di Campionamento Adattivo per l'Addestramento di LLM in Stile Reinforce

Reinforce-Ada: An Adaptive Sampling Framework for Reinforce-Style LLM Training

October 6, 2025

Autori: Wei Xiong, Chenlu Ye, Baohao Liao, Hanze Dong, Xinxing Xu, Christof Monz, Jiang Bian, Nan Jiang, Tong Zhang

cs.AI

Abstract

L'apprendimento per rinforzo applicato ai grandi modelli linguistici (LLM) per compiti di ragionamento è spesso limitato da stime instabili del gradiente dovute al campionamento fisso e uniforme delle risposte tra i prompt. Lavori precedenti come GVM-RAFT affrontano questo problema allocando dinamicamente il budget di inferenza per prompt per minimizzare la varianza stocastica del gradiente sotto un vincolo di budget. Ispirati da questa intuizione, proponiamo Reinforce-Ada, un framework di campionamento adattativo per il post-addestramento online con apprendimento per rinforzo di LLM che rialloca continuamente lo sforzo di campionamento ai prompt con la maggiore incertezza o potenziale di apprendimento. A differenza dei metodi convenzionali di allocazione in due fasi, Reinforce-Ada alterna stima e campionamento in un processo di eliminazione successiva online e interrompe automaticamente il campionamento per un prompt una volta raccolto un segnale sufficiente. Per stabilizzare gli aggiornamenti, formiamo gruppi di dimensione fissa con diversità di ricompensa imposta e calcoliamo baseline di vantaggio utilizzando statistiche globali aggregate durante la fase di campionamento adattativo. I risultati empirici su molteplici architetture di modelli e benchmark di ragionamento dimostrano che Reinforce-Ada accelera la convergenza e migliora le prestazioni finali rispetto a GRPO, specialmente quando si utilizza la variante di campionamento bilanciato. Il nostro lavoro sottolinea il ruolo centrale della cura adattativa dei dati, consapevole della varianza, nell'abilitare un apprendimento per rinforzo efficiente e affidabile per LLM capaci di ragionamento. Il codice è disponibile all'indirizzo https://github.com/RLHFlow/Reinforce-Ada.

English

Reinforcement learning applied to large language models (LLMs) for reasoning tasks is often bottlenecked by unstable gradient estimates due to fixed and uniform sampling of responses across prompts. Prior work such as GVM-RAFT addresses this by dynamically allocating inference budget per prompt to minimize stochastic gradient variance under a budget constraint. Inspired by this insight, we propose Reinforce-Ada, an adaptive sampling framework for online RL post-training of LLMs that continuously reallocates sampling effort to the prompts with the greatest uncertainty or learning potential. Unlike conventional two-stage allocation methods, Reinforce-Ada interleaves estimation and sampling in an online successive elimination process, and automatically stops sampling for a prompt once sufficient signal is collected. To stabilize updates, we form fixed-size groups with enforced reward diversity and compute advantage baselines using global statistics aggregated over the adaptive sampling phase. Empirical results across multiple model architectures and reasoning benchmarks show that Reinforce-Ada accelerates convergence and improves final performance compared to GRPO, especially when using the balanced sampling variant. Our work highlights the central role of variance-aware, adaptive data curation in enabling efficient and reliable reinforcement learning for reasoning-capable LLMs. Code is available at https://github.com/RLHFlow/Reinforce-Ada.