Een Minimalistische Benadering van LLM-redeneren: van Afwijzingsbemonstering naar Versterking

A Minimalist Approach to LLM Reasoning: from Rejection Sampling to Reinforce

April 15, 2025

Auteurs: Wei Xiong, Jiarui Yao, Yuhui Xu, Bo Pang, Lei Wang, Doyen Sahoo, Junnan Li, Nan Jiang, Tong Zhang, Caiming Xiong, Hanze Dong

cs.AI

Samenvatting

Reinforcement learning (RL) is een overheersende benadering geworden voor het finetunen van grote taalmodelen (LLMs) op complexe redeneertaken. Onder recente methodes springt GRPO eruit vanwege zijn empirische succes bij het trainen van modellen zoals DeepSeek-R1, maar de bronnen van zijn effectiviteit blijven slecht begrepen. In dit werk bekijken we GRPO opnieuw vanuit het perspectief van een reinforce-achtig algoritme en analyseren we de kerncomponenten. Verrassend genoeg ontdekken we dat een eenvoudige baseline voor rejection sampling, RAFT, die alleen traint op positief beloonde samples, competitieve prestaties levert in vergelijking met GRPO en PPO. Onze ablatiestudies onthullen dat het belangrijkste voordeel van GRPO voortkomt uit het weggooien van prompts met volledig incorrecte antwoorden, in plaats van uit zijn beloningsnormalisatie. Gemotiveerd door dit inzicht stellen we Reinforce-Rej voor, een minimale uitbreiding van policy gradient die zowel volledig incorrecte als volledig correcte samples filtert. Reinforce-Rej verbetert de KL-efficiëntie en stabiliteit, en dient als een lichtgewicht maar effectief alternatief voor complexere RL-algoritmen. We pleiten voor RAFT als een robuuste en interpreteerbare baseline, en suggereren dat toekomstige vooruitgang zich moet richten op meer principiële ontwerpen voor het incorporeren van negatieve samples, in plaats van er ongericht op te vertrouwen. Onze bevindingen bieden richtlijnen voor toekomstig werk in beloningsgebaseerde post-training van LLMs.

English

Reinforcement learning (RL) has become a prevailing approach for fine-tuning large language models (LLMs) on complex reasoning tasks. Among recent methods, GRPO stands out for its empirical success in training models such as DeepSeek-R1, yet the sources of its effectiveness remain poorly understood. In this work, we revisit GRPO from a reinforce-like algorithm perspective and analyze its core components. Surprisingly, we find that a simple rejection sampling baseline, RAFT, which trains only on positively rewarded samples, yields competitive performance than GRPO and PPO. Our ablation studies reveal that GRPO's main advantage arises from discarding prompts with entirely incorrect responses, rather than from its reward normalization. Motivated by this insight, we propose Reinforce-Rej, a minimal extension of policy gradient that filters both entirely incorrect and entirely correct samples. Reinforce-Rej improves KL efficiency and stability, serving as a lightweight yet effective alternative to more complex RL algorithms. We advocate RAFT as a robust and interpretable baseline, and suggest that future advances should focus on more principled designs for incorporating negative samples, rather than relying on them indiscriminately. Our findings provide guidance for future work in reward-based LLM post-training.