LLM推論におけるミニマリスト的アプローチ：リジェクションサンプリングから強化学習へ

A Minimalist Approach to LLM Reasoning: from Rejection Sampling to Reinforce

April 15, 2025

著者: Wei Xiong, Jiarui Yao, Yuhui Xu, Bo Pang, Lei Wang, Doyen Sahoo, Junnan Li, Nan Jiang, Tong Zhang, Caiming Xiong, Hanze Dong

cs.AI

要旨

強化学習（Reinforcement Learning, RL）は、複雑な推論タスクにおいて大規模言語モデル（Large Language Models, LLMs）を微調整するための主流のアプローチとなっている。最近の手法の中でも、GRPOはDeepSeek-R1のようなモデルの訓練において実証的な成功を収めており、その有効性の源はまだ十分に理解されていない。本研究では、GRPOを強化学習に似たアルゴリズムの観点から再検討し、その核心的な構成要素を分析する。驚くべきことに、肯定的な報酬を受けたサンプルのみを訓練する単純な棄却サンプリングベースラインであるRAFTが、GRPOやPPOと同等以上の性能を発揮することがわかった。アブレーション研究により、GRPOの主な利点は、報酬の正規化ではなく、完全に誤った応答を持つプロンプトを排除することから生じていることが明らかになった。この知見に基づき、完全に誤ったサンプルと完全に正しいサンプルの両方をフィルタリングする、ポリシー勾配の最小限の拡張であるReinforce-Rejを提案する。Reinforce-RejはKL効率と安定性を向上させ、より複雑なRLアルゴリズムに対する軽量かつ効果的な代替手段として機能する。我々は、RAFTを堅牢で解釈可能なベースラインとして推奨し、将来の進展は、負のサンプルを無差別に利用するのではなく、それらを組み込むためのより原理的な設計に焦点を当てるべきであると提案する。本研究の知見は、報酬ベースのLLMポストトレーニングにおける将来の研究に指針を提供するものである。

English

Reinforcement learning (RL) has become a prevailing approach for fine-tuning large language models (LLMs) on complex reasoning tasks. Among recent methods, GRPO stands out for its empirical success in training models such as DeepSeek-R1, yet the sources of its effectiveness remain poorly understood. In this work, we revisit GRPO from a reinforce-like algorithm perspective and analyze its core components. Surprisingly, we find that a simple rejection sampling baseline, RAFT, which trains only on positively rewarded samples, yields competitive performance than GRPO and PPO. Our ablation studies reveal that GRPO's main advantage arises from discarding prompts with entirely incorrect responses, rather than from its reward normalization. Motivated by this insight, we propose Reinforce-Rej, a minimal extension of policy gradient that filters both entirely incorrect and entirely correct samples. Reinforce-Rej improves KL efficiency and stability, serving as a lightweight yet effective alternative to more complex RL algorithms. We advocate RAFT as a robust and interpretable baseline, and suggest that future advances should focus on more principled designs for incorporating negative samples, rather than relying on them indiscriminately. Our findings provide guidance for future work in reward-based LLM post-training.