EDGE-GRPO: Entropie-Gestuurde GRPO met Begeleide Foutcorrectie voor Voordeel Diversiteit

EDGE-GRPO: Entropy-Driven GRPO with Guided Error Correction for Advantage Diversity

July 29, 2025

Auteurs: Xingjian Zhang, Siwei Wen, Wenjun Wu, Lei Huang

cs.AI

Samenvatting

Grote Taalmodellen (LLMs) hebben opmerkelijke vooruitgang geboekt in het verbeteren van stapsgewijs redeneren door middel van reinforcement learning. Het Group Relative Policy Optimization (GRPO) algoritme, dat vertrouwt op spaarzame beloningsregels, stuit echter vaak op het probleem van identieke beloningen binnen groepen, wat leidt tot het voordeelcollapsprobleem. Bestaande werken pakken deze uitdaging doorgaans vanuit twee perspectieven aan: het afdwingen van modelreflectie om de diversiteit van reacties te vergroten, en het introduceren van interne feedback om het trainingssignaal (voordeel) te versterken. In dit werk beginnen we met het analyseren van de beperkingen van modelreflectie en onderzoeken we de beleidsentropie van reacties op het fijnmazige steekproefniveau. Op basis van onze experimentele bevindingen stellen we het EDGE-GRPO algoritme voor, dat Entropy-Driven Advantage en Guided Error Correction gebruikt om het probleem van voordeelcollaps effectief te verminderen. Uitgebreide experimenten op verschillende belangrijke redeneerbenchmarks tonen de effectiviteit en superioriteit van onze aanpak aan. Het is beschikbaar op https://github.com/ZhangXJ199/EDGE-GRPO.

English

Large Language Models (LLMs) have made remarkable progress in enhancing step-by-step reasoning through reinforcement learning. However, the Group Relative Policy Optimization (GRPO) algorithm, which relies on sparse reward rules, often encounters the issue of identical rewards within groups, leading to the advantage collapse problem. Existing works typically address this challenge from two perspectives: enforcing model reflection to enhance response diversity, and introducing internal feedback to augment the training signal (advantage). In this work, we begin by analyzing the limitations of model reflection and investigating the policy entropy of responses at the fine-grained sample level. Based on our experimental findings, we propose the EDGE-GRPO algorithm, which adopts Entropy-Driven Advantage and Guided Error Correction to effectively mitigate the problem of advantage collapse. Extensive experiments on several main reasoning benchmarks demonstrate the effectiveness and superiority of our approach. It is available at https://github.com/ZhangXJ199/EDGE-GRPO.