EDGE-GRPO: GRPO Basado en Entropía con Corrección de Errores Guiada para la Diversidad de Ventajas

EDGE-GRPO: Entropy-Driven GRPO with Guided Error Correction for Advantage Diversity

July 29, 2025

Autores: Xingjian Zhang, Siwei Wen, Wenjun Wu, Lei Huang

cs.AI

Resumen

Los Modelos de Lenguaje a Gran Escala (LLMs, por sus siglas en inglés) han logrado avances notables en la mejora del razonamiento paso a paso mediante el aprendizaje por refuerzo. Sin embargo, el algoritmo de Optimización de Políticas Relativas por Grupos (GRPO, por sus siglas en inglés), que se basa en reglas de recompensas dispersas, a menudo enfrenta el problema de recompensas idénticas dentro de los grupos, lo que conduce al colapso de la ventaja. Los trabajos existentes suelen abordar este desafío desde dos perspectivas: forzar la reflexión del modelo para mejorar la diversidad de respuestas e introducir retroalimentación interna para aumentar la señal de entrenamiento (ventaja). En este trabajo, comenzamos analizando las limitaciones de la reflexión del modelo e investigando la entropía de la política de respuestas a nivel de muestra detallado. Basándonos en nuestros hallazgos experimentales, proponemos el algoritmo EDGE-GRPO, que adopta una Ventaja Impulsada por la Entropía y Corrección de Errores Guiada para mitigar eficazmente el problema del colapso de la ventaja. Experimentos exhaustivos en varios benchmarks principales de razonamiento demuestran la efectividad y superioridad de nuestro enfoque. Está disponible en https://github.com/ZhangXJ199/EDGE-GRPO.

English

Large Language Models (LLMs) have made remarkable progress in enhancing step-by-step reasoning through reinforcement learning. However, the Group Relative Policy Optimization (GRPO) algorithm, which relies on sparse reward rules, often encounters the issue of identical rewards within groups, leading to the advantage collapse problem. Existing works typically address this challenge from two perspectives: enforcing model reflection to enhance response diversity, and introducing internal feedback to augment the training signal (advantage). In this work, we begin by analyzing the limitations of model reflection and investigating the policy entropy of responses at the fine-grained sample level. Based on our experimental findings, we propose the EDGE-GRPO algorithm, which adopts Entropy-Driven Advantage and Guided Error Correction to effectively mitigate the problem of advantage collapse. Extensive experiments on several main reasoning benchmarks demonstrate the effectiveness and superiority of our approach. It is available at https://github.com/ZhangXJ199/EDGE-GRPO.