EDGE-GRPO: GRPO Orientado por Entropia com Correção Guiada de Erros para Diversidade de Vantagem

EDGE-GRPO: Entropy-Driven GRPO with Guided Error Correction for Advantage Diversity

July 29, 2025

Autores: Xingjian Zhang, Siwei Wen, Wenjun Wu, Lei Huang

cs.AI

Resumo

Os Modelos de Linguagem de Grande Escala (LLMs) têm feito progressos notáveis no aprimoramento do raciocínio passo a passo por meio de aprendizado por reforço. No entanto, o algoritmo de Otimização de Política Relativa ao Grupo (GRPO), que depende de regras de recompensa esparsa, frequentemente encontra o problema de recompensas idênticas dentro dos grupos, levando ao colapso da vantagem. Trabalhos existentes geralmente abordam esse desafio a partir de duas perspectivas: forçar a reflexão do modelo para aumentar a diversidade das respostas e introduzir feedback interno para amplificar o sinal de treinamento (vantagem). Neste trabalho, começamos analisando as limitações da reflexão do modelo e investigando a entropia da política das respostas no nível granular das amostras. Com base em nossas descobertas experimentais, propomos o algoritmo EDGE-GRPO, que adota Vantagem Orientada pela Entropia e Correção de Erros Guiada para mitigar efetivamente o problema do colapso da vantagem. Experimentos extensivos em vários benchmarks principais de raciocínio demonstram a eficácia e superioridade da nossa abordagem. O código está disponível em https://github.com/ZhangXJ199/EDGE-GRPO.

English

Large Language Models (LLMs) have made remarkable progress in enhancing step-by-step reasoning through reinforcement learning. However, the Group Relative Policy Optimization (GRPO) algorithm, which relies on sparse reward rules, often encounters the issue of identical rewards within groups, leading to the advantage collapse problem. Existing works typically address this challenge from two perspectives: enforcing model reflection to enhance response diversity, and introducing internal feedback to augment the training signal (advantage). In this work, we begin by analyzing the limitations of model reflection and investigating the policy entropy of responses at the fine-grained sample level. Based on our experimental findings, we propose the EDGE-GRPO algorithm, which adopts Entropy-Driven Advantage and Guided Error Correction to effectively mitigate the problem of advantage collapse. Extensive experiments on several main reasoning benchmarks demonstrate the effectiveness and superiority of our approach. It is available at https://github.com/ZhangXJ199/EDGE-GRPO.