EDGE-GRPO : GRPO piloté par l'entropie avec correction d'erreurs guidée pour la diversité des avantages

EDGE-GRPO: Entropy-Driven GRPO with Guided Error Correction for Advantage Diversity

July 29, 2025

papers.authors: Xingjian Zhang, Siwei Wen, Wenjun Wu, Lei Huang

cs.AI

papers.abstract

Les modèles de langage de grande taille (LLMs) ont réalisé des progrès remarquables dans l'amélioration du raisonnement pas à pas grâce à l'apprentissage par renforcement. Cependant, l'algorithme d'optimisation de politique relative par groupe (GRPO), qui repose sur des règles de récompense éparse, rencontre souvent le problème de récompenses identiques au sein des groupes, conduisant à l'effondrement de l'avantage. Les travaux existants abordent généralement ce défi sous deux angles : imposer une réflexion du modèle pour accroître la diversité des réponses, et introduire un retour d'information interne pour augmenter le signal d'entraînement (avantage). Dans ce travail, nous commençons par analyser les limites de la réflexion du modèle et examinons l'entropie de la politique des réponses au niveau granulaire des échantillons. Sur la base de nos résultats expérimentaux, nous proposons l'algorithme EDGE-GRPO, qui adopte une approche d'avantage piloté par l'entropie et une correction d'erreur guidée pour atténuer efficacement le problème d'effondrement de l'avantage. Des expériences approfondies sur plusieurs benchmarks de raisonnement principaux démontrent l'efficacité et la supériorité de notre approche. Elle est disponible à l'adresse https://github.com/ZhangXJ199/EDGE-GRPO.

English

Large Language Models (LLMs) have made remarkable progress in enhancing step-by-step reasoning through reinforcement learning. However, the Group Relative Policy Optimization (GRPO) algorithm, which relies on sparse reward rules, often encounters the issue of identical rewards within groups, leading to the advantage collapse problem. Existing works typically address this challenge from two perspectives: enforcing model reflection to enhance response diversity, and introducing internal feedback to augment the training signal (advantage). In this work, we begin by analyzing the limitations of model reflection and investigating the policy entropy of responses at the fine-grained sample level. Based on our experimental findings, we propose the EDGE-GRPO algorithm, which adopts Entropy-Driven Advantage and Guided Error Correction to effectively mitigate the problem of advantage collapse. Extensive experiments on several main reasoning benchmarks demonstrate the effectiveness and superiority of our approach. It is available at https://github.com/ZhangXJ199/EDGE-GRPO.