Ein minimalistischer Ansatz für das Reasoning von LLMs: Von der Ablehnungsstichprobe zur Verstärkung

A Minimalist Approach to LLM Reasoning: from Rejection Sampling to Reinforce

April 15, 2025

Autoren: Wei Xiong, Jiarui Yao, Yuhui Xu, Bo Pang, Lei Wang, Doyen Sahoo, Junnan Li, Nan Jiang, Tong Zhang, Caiming Xiong, Hanze Dong

cs.AI

Zusammenfassung

Reinforcement Learning (RL) hat sich zu einem vorherrschenden Ansatz für das Feinabstimmen großer Sprachmodelle (LLMs) bei komplexen Denkaufgaben entwickelt. Unter den jüngsten Methoden sticht GRPO durch seinen empirischen Erfolg bei der Ausbildung von Modellen wie DeepSeek-R1 hervor, doch die Quellen seiner Effektivität bleiben weitgehend unverstanden. In dieser Arbeit betrachten wir GRPO aus der Perspektive eines reinforce-ähnlichen Algorithmus und analysieren seine Kernkomponenten. Überraschenderweise stellen wir fest, dass eine einfache Rejection-Sampling-Baseline, RAFT, die nur auf positiv belohnten Stichproben trainiert, eine vergleichbare Leistung wie GRPO und PPO erzielt. Unsere Ablationsstudien zeigen, dass der Hauptvorteil von GRPO darin besteht, Eingaben mit vollständig falschen Antworten zu verwerfen, und nicht in seiner Belohnungsnormalisierung. Motiviert durch diese Erkenntnis schlagen wir Reinforce-Rej vor, eine minimale Erweiterung des Policy Gradient, das sowohl vollständig falsche als auch vollständig korrekte Stichproben filtert. Reinforce-Rej verbessert die KL-Effizienz und Stabilität und dient als leichtgewichtige, aber effektive Alternative zu komplexeren RL-Algorithmen. Wir plädieren dafür, RAFT als robuste und interpretierbare Baseline zu verwenden, und schlagen vor, dass zukünftige Fortschritte sich auf prinzipiellere Designs für die Einbindung negativer Stichproben konzentrieren sollten, anstatt sie unkritisch zu nutzen. Unsere Erkenntnisse bieten Orientierung für zukünftige Arbeiten im Bereich der belohnungsbasierten Nachschulung von LLMs.

English

Reinforcement learning (RL) has become a prevailing approach for fine-tuning large language models (LLMs) on complex reasoning tasks. Among recent methods, GRPO stands out for its empirical success in training models such as DeepSeek-R1, yet the sources of its effectiveness remain poorly understood. In this work, we revisit GRPO from a reinforce-like algorithm perspective and analyze its core components. Surprisingly, we find that a simple rejection sampling baseline, RAFT, which trains only on positively rewarded samples, yields competitive performance than GRPO and PPO. Our ablation studies reveal that GRPO's main advantage arises from discarding prompts with entirely incorrect responses, rather than from its reward normalization. Motivated by this insight, we propose Reinforce-Rej, a minimal extension of policy gradient that filters both entirely incorrect and entirely correct samples. Reinforce-Rej improves KL efficiency and stability, serving as a lightweight yet effective alternative to more complex RL algorithms. We advocate RAFT as a robust and interpretable baseline, and suggest that future advances should focus on more principled designs for incorporating negative samples, rather than relying on them indiscriminately. Our findings provide guidance for future work in reward-based LLM post-training.