EDGE-GRPO：エントロピー駆動型GRPOとアドバンテージ多様性のためのガイド付き誤り訂正

要旨

大規模言語モデル（LLMs）は、強化学習を通じた段階的推論の向上において顕著な進歩を遂げてきました。しかし、スパースな報酬ルールに依存するGroup Relative Policy Optimization（GRPO）アルゴリズムは、グループ内で同一の報酬が発生する問題に直面しやすく、これがアドバンテージ崩壊問題を引き起こします。既存の研究では、この課題に対処するために主に2つのアプローチが取られています：モデルのリフレクションを強化して応答の多様性を高める方法と、内部フィードバックを導入してトレーニング信号（アドバンテージ）を増強する方法です。本研究では、まずモデルリフレクションの限界を分析し、細かいサンプルレベルでの応答のポリシーエントロピーを調査します。実験結果に基づいて、エントロピー駆動型アドバンテージとガイド付きエラー補正を採用したEDGE-GRPOアルゴリズムを提案し、アドバンテージ崩壊問題を効果的に緩和します。主要な推論ベンチマークでの大規模な実験により、本手法の有効性と優位性が実証されました。詳細はhttps://github.com/ZhangXJ199/EDGE-GRPOで公開されています。

English

Large Language Models (LLMs) have made remarkable progress in enhancing step-by-step reasoning through reinforcement learning. However, the Group Relative Policy Optimization (GRPO) algorithm, which relies on sparse reward rules, often encounters the issue of identical rewards within groups, leading to the advantage collapse problem. Existing works typically address this challenge from two perspectives: enforcing model reflection to enhance response diversity, and introducing internal feedback to augment the training signal (advantage). In this work, we begin by analyzing the limitations of model reflection and investigating the policy entropy of responses at the fine-grained sample level. Based on our experimental findings, we propose the EDGE-GRPO algorithm, which adopts Entropy-Driven Advantage and Guided Error Correction to effectively mitigate the problem of advantage collapse. Extensive experiments on several main reasoning benchmarks demonstrate the effectiveness and superiority of our approach. It is available at https://github.com/ZhangXJ199/EDGE-GRPO.

EDGE-GRPO：エントロピー駆動型GRPOとアドバンテージ多様性のためのガイド付き誤り訂正

EDGE-GRPO: Entropy-Driven GRPO with Guided Error Correction for Advantage Diversity

要旨

Support