EDGE-GRPO: Entropie-gesteuertes GRPO mit geführter Fehlerkorrektur für Vorteilsdiversität

EDGE-GRPO: Entropy-Driven GRPO with Guided Error Correction for Advantage Diversity

July 29, 2025

papers.authors: Xingjian Zhang, Siwei Wen, Wenjun Wu, Lei Huang

cs.AI

papers.abstract

Große Sprachmodelle (LLMs) haben bemerkenswerte Fortschritte bei der Verbesserung von schrittweisem Denken durch Reinforcement Learning erzielt. Allerdings stößt der Group Relative Policy Optimization (GRPO)-Algorithmus, der auf spärlichen Belohnungsregeln basiert, häufig auf das Problem identischer Belohnungen innerhalb von Gruppen, was zum Vorteilskollaps führt. Bestehende Arbeiten adressieren diese Herausforderung typischerweise aus zwei Perspektiven: die Erzwingung von Modellreflexion zur Steigerung der Antwortvielfalt und die Einführung von internem Feedback zur Verstärkung des Trainingssignals (Vorteil). In dieser Arbeit analysieren wir zunächst die Grenzen der Modellreflexion und untersuchen die Policy-Entropie von Antworten auf der feinkörnigen Probenebene. Basierend auf unseren experimentellen Ergebnissen schlagen wir den EDGE-GRPO-Algorithmus vor, der Entropy-Driven Advantage und Guided Error Correction nutzt, um das Problem des Vorteilskollapses effektiv zu mildern. Umfangreiche Experimente auf mehreren wichtigen Reasoning-Benchmarks demonstrieren die Wirksamkeit und Überlegenheit unseres Ansatzes. Er ist verfügbar unter https://github.com/ZhangXJ199/EDGE-GRPO.

English

Large Language Models (LLMs) have made remarkable progress in enhancing step-by-step reasoning through reinforcement learning. However, the Group Relative Policy Optimization (GRPO) algorithm, which relies on sparse reward rules, often encounters the issue of identical rewards within groups, leading to the advantage collapse problem. Existing works typically address this challenge from two perspectives: enforcing model reflection to enhance response diversity, and introducing internal feedback to augment the training signal (advantage). In this work, we begin by analyzing the limitations of model reflection and investigating the policy entropy of responses at the fine-grained sample level. Based on our experimental findings, we propose the EDGE-GRPO algorithm, which adopts Entropy-Driven Advantage and Guided Error Correction to effectively mitigate the problem of advantage collapse. Extensive experiments on several main reasoning benchmarks demonstrate the effectiveness and superiority of our approach. It is available at https://github.com/ZhangXJ199/EDGE-GRPO.