EDGE-GRPO: GRPO Basato sull'Entropia con Correzione Guidata degli Errori per la Diversità del Vantaggio

EDGE-GRPO: Entropy-Driven GRPO with Guided Error Correction for Advantage Diversity

July 29, 2025

Autori: Xingjian Zhang, Siwei Wen, Wenjun Wu, Lei Huang

cs.AI

Abstract

I Large Language Model (LLM) hanno compiuto progressi significativi nel migliorare il ragionamento passo-passo attraverso l'apprendimento per rinforzo. Tuttavia, l'algoritmo Group Relative Policy Optimization (GRPO), che si basa su regole di ricompensa sparsa, spesso incontra il problema di ricompense identiche all'interno dei gruppi, portando al fenomeno del collasso del vantaggio. Le opere esistenti affrontano tipicamente questa sfida da due prospettive: imporre la riflessione del modello per aumentare la diversità delle risposte e introdurre feedback interno per potenziare il segnale di addestramento (vantaggio). In questo lavoro, iniziamo analizzando i limiti della riflessione del modello e investigando l'entropia della politica delle risposte a livello di campione fine-granulare. Sulla base dei nostri risultati sperimentali, proponiamo l'algoritmo EDGE-GRPO, che adotta un Vantaggio Guidato dall'Entropia e una Correzione degli Errori Guidata per mitigare efficacemente il problema del collasso del vantaggio. Esperimenti estesi su diversi benchmark di ragionamento principali dimostrano l'efficacia e la superiorità del nostro approccio. È disponibile all'indirizzo https://github.com/ZhangXJ199/EDGE-GRPO.

English

Large Language Models (LLMs) have made remarkable progress in enhancing step-by-step reasoning through reinforcement learning. However, the Group Relative Policy Optimization (GRPO) algorithm, which relies on sparse reward rules, often encounters the issue of identical rewards within groups, leading to the advantage collapse problem. Existing works typically address this challenge from two perspectives: enforcing model reflection to enhance response diversity, and introducing internal feedback to augment the training signal (advantage). In this work, we begin by analyzing the limitations of model reflection and investigating the policy entropy of responses at the fine-grained sample level. Based on our experimental findings, we propose the EDGE-GRPO algorithm, which adopts Entropy-Driven Advantage and Guided Error Correction to effectively mitigate the problem of advantage collapse. Extensive experiments on several main reasoning benchmarks demonstrate the effectiveness and superiority of our approach. It is available at https://github.com/ZhangXJ199/EDGE-GRPO.