Une approche minimaliste du raisonnement des LLM : de l'échantillonnage par rejet au renforcement

A Minimalist Approach to LLM Reasoning: from Rejection Sampling to Reinforce

April 15, 2025

Auteurs: Wei Xiong, Jiarui Yao, Yuhui Xu, Bo Pang, Lei Wang, Doyen Sahoo, Junnan Li, Nan Jiang, Tong Zhang, Caiming Xiong, Hanze Dong

cs.AI

Résumé

L'apprentissage par renforcement (Reinforcement Learning, RL) est devenu une approche prédominante pour le réglage fin des grands modèles de langage (Large Language Models, LLMs) sur des tâches de raisonnement complexes. Parmi les méthodes récentes, GRPO se distingue par son succès empirique dans l'entraînement de modèles tels que DeepSeek-R1, bien que les sources de son efficacité restent mal comprises. Dans ce travail, nous revisitons GRPO sous l'angle des algorithmes de type renforcement et analysons ses composants clés. Étonnamment, nous constatons qu'une base simple d'échantillonnage par rejet, RAFT, qui n'entraîne que sur des échantillons récompensés positivement, offre des performances compétitives par rapport à GRPO et PPO. Nos études d'ablation révèlent que le principal avantage de GRPO provient de l'élimination des prompts avec des réponses entièrement incorrectes, plutôt que de sa normalisation des récompenses. Motivés par cette observation, nous proposons Reinforce-Rej, une extension minimale du gradient de politique qui filtre à la fois les échantillons entièrement incorrects et entièrement corrects. Reinforce-Rej améliore l'efficacité KL et la stabilité, constituant une alternative légère mais efficace aux algorithmes RL plus complexes. Nous recommandons RAFT comme base robuste et interprétable, et suggérons que les avancées futures devraient se concentrer sur des conceptions plus rigoureuses pour intégrer les échantillons négatifs, plutôt que de les utiliser de manière indiscriminée. Nos résultats fournissent des orientations pour les travaux futurs sur le post-entraînement des LLMs basé sur les récompenses.

English

Reinforcement learning (RL) has become a prevailing approach for fine-tuning large language models (LLMs) on complex reasoning tasks. Among recent methods, GRPO stands out for its empirical success in training models such as DeepSeek-R1, yet the sources of its effectiveness remain poorly understood. In this work, we revisit GRPO from a reinforce-like algorithm perspective and analyze its core components. Surprisingly, we find that a simple rejection sampling baseline, RAFT, which trains only on positively rewarded samples, yields competitive performance than GRPO and PPO. Our ablation studies reveal that GRPO's main advantage arises from discarding prompts with entirely incorrect responses, rather than from its reward normalization. Motivated by this insight, we propose Reinforce-Rej, a minimal extension of policy gradient that filters both entirely incorrect and entirely correct samples. Reinforce-Rej improves KL efficiency and stability, serving as a lightweight yet effective alternative to more complex RL algorithms. We advocate RAFT as a robust and interpretable baseline, and suggest that future advances should focus on more principled designs for incorporating negative samples, rather than relying on them indiscriminately. Our findings provide guidance for future work in reward-based LLM post-training.