Uma Abordagem Minimalista para o Raciocínio em LLM: da Amostragem por Rejeição ao Reforço

A Minimalist Approach to LLM Reasoning: from Rejection Sampling to Reinforce

April 15, 2025

Autores: Wei Xiong, Jiarui Yao, Yuhui Xu, Bo Pang, Lei Wang, Doyen Sahoo, Junnan Li, Nan Jiang, Tong Zhang, Caiming Xiong, Hanze Dong

cs.AI

Resumo

O aprendizado por reforço (RL, do inglês Reinforcement Learning) tornou-se uma abordagem predominante para o ajuste fino de modelos de linguagem de grande escala (LLMs, do inglês Large Language Models) em tarefas complexas de raciocínio. Entre os métodos recentes, o GRPO destaca-se por seu sucesso empírico no treinamento de modelos como o DeepSeek-R1, embora as fontes de sua eficácia ainda sejam pouco compreendidas. Neste trabalho, revisitamos o GRPO a partir de uma perspectiva de algoritmo semelhante ao reforço e analisamos seus componentes principais. Surpreendentemente, descobrimos que uma linha de base simples de amostragem por rejeição, o RAFT, que treina apenas em amostras com recompensas positivas, apresenta desempenho competitivo em relação ao GRPO e ao PPO. Nossos estudos de ablação revelam que a principal vantagem do GRPO surge do descarte de prompts com respostas completamente incorretas, em vez de sua normalização de recompensas. Motivados por essa percepção, propomos o Reinforce-Rej, uma extensão mínima do gradiente de política que filtra tanto amostras completamente incorretas quanto completamente corretas. O Reinforce-Rej melhora a eficiência e a estabilidade KL, servindo como uma alternativa leve, porém eficaz, a algoritmos de RL mais complexos. Defendemos o RAFT como uma linha de base robusta e interpretável e sugerimos que avanços futuros devem se concentrar em designs mais fundamentados para a incorporação de amostras negativas, em vez de confiar nelas indiscriminadamente. Nossas descobertas fornecem orientações para trabalhos futuros no pós-treinamento de LLMs baseado em recompensas.

English

Reinforcement learning (RL) has become a prevailing approach for fine-tuning large language models (LLMs) on complex reasoning tasks. Among recent methods, GRPO stands out for its empirical success in training models such as DeepSeek-R1, yet the sources of its effectiveness remain poorly understood. In this work, we revisit GRPO from a reinforce-like algorithm perspective and analyze its core components. Surprisingly, we find that a simple rejection sampling baseline, RAFT, which trains only on positively rewarded samples, yields competitive performance than GRPO and PPO. Our ablation studies reveal that GRPO's main advantage arises from discarding prompts with entirely incorrect responses, rather than from its reward normalization. Motivated by this insight, we propose Reinforce-Rej, a minimal extension of policy gradient that filters both entirely incorrect and entirely correct samples. Reinforce-Rej improves KL efficiency and stability, serving as a lightweight yet effective alternative to more complex RL algorithms. We advocate RAFT as a robust and interpretable baseline, and suggest that future advances should focus on more principled designs for incorporating negative samples, rather than relying on them indiscriminately. Our findings provide guidance for future work in reward-based LLM post-training.