Reinforce-Ada: Um Framework de Amostragem Adaptativa para Treinamento de LLMs no Estilo Reinforce

Reinforce-Ada: An Adaptive Sampling Framework for Reinforce-Style LLM Training

October 6, 2025

Autores: Wei Xiong, Chenlu Ye, Baohao Liao, Hanze Dong, Xinxing Xu, Christof Monz, Jiang Bian, Nan Jiang, Tong Zhang

cs.AI

Resumo

O aprendizado por reforço aplicado a modelos de linguagem de grande escala (LLMs) para tarefas de raciocínio frequentemente enfrenta gargalos devido a estimativas de gradiente instáveis, causadas pela amostragem fixa e uniforme de respostas entre diferentes prompts. Trabalhos anteriores, como o GVM-RAFT, abordam esse problema ao alocar dinamicamente o orçamento de inferência por prompt, minimizando a variância do gradiente estocástico sob uma restrição de orçamento. Inspirados por essa ideia, propomos o Reinforce-Ada, uma estrutura de amostragem adaptativa para o pós-treinamento online de LLMs com aprendizado por reforço, que realoca continuamente o esforço de amostragem para os prompts com maior incerteza ou potencial de aprendizado. Diferente dos métodos convencionais de alocação em duas etapas, o Reinforce-Ada intercala estimação e amostragem em um processo de eliminação sucessiva online, e interrompe automaticamente a amostragem para um prompt uma vez que sinal suficiente é coletado. Para estabilizar as atualizações, formamos grupos de tamanho fixo com diversidade de recompensas imposta e calculamos baselines de vantagem usando estatísticas globais agregadas durante a fase de amostragem adaptativa. Resultados empíricos em múltiplas arquiteturas de modelos e benchmarks de raciocínio mostram que o Reinforce-Ada acelera a convergência e melhora o desempenho final em comparação ao GRPO, especialmente ao usar a variante de amostragem balanceada. Nosso trabalho destaca o papel central da curadoria de dados adaptativa e consciente da variância para permitir um aprendizado por reforço eficiente e confiável em LLMs capazes de raciocínio. O código está disponível em https://github.com/RLHFlow/Reinforce-Ada.

English

Reinforcement learning applied to large language models (LLMs) for reasoning tasks is often bottlenecked by unstable gradient estimates due to fixed and uniform sampling of responses across prompts. Prior work such as GVM-RAFT addresses this by dynamically allocating inference budget per prompt to minimize stochastic gradient variance under a budget constraint. Inspired by this insight, we propose Reinforce-Ada, an adaptive sampling framework for online RL post-training of LLMs that continuously reallocates sampling effort to the prompts with the greatest uncertainty or learning potential. Unlike conventional two-stage allocation methods, Reinforce-Ada interleaves estimation and sampling in an online successive elimination process, and automatically stops sampling for a prompt once sufficient signal is collected. To stabilize updates, we form fixed-size groups with enforced reward diversity and compute advantage baselines using global statistics aggregated over the adaptive sampling phase. Empirical results across multiple model architectures and reasoning benchmarks show that Reinforce-Ada accelerates convergence and improves final performance compared to GRPO, especially when using the balanced sampling variant. Our work highlights the central role of variance-aware, adaptive data curation in enabling efficient and reliable reinforcement learning for reasoning-capable LLMs. Code is available at https://github.com/RLHFlow/Reinforce-Ada.