EDGE-GRPO: Энтропийно-управляемый GRPO с направленной коррекцией ошибок для обеспечения разнообразия преимуществ

EDGE-GRPO: Entropy-Driven GRPO with Guided Error Correction for Advantage Diversity

July 29, 2025

Авторы: Xingjian Zhang, Siwei Wen, Wenjun Wu, Lei Huang

cs.AI

Аннотация

Крупные языковые модели (LLM) достигли значительного прогресса в улучшении пошагового рассуждения с использованием обучения с подкреплением. Однако алгоритм Group Relative Policy Optimization (GRPO), основанный на правилах с редкими вознаграждениями, часто сталкивается с проблемой одинаковых вознаграждений внутри групп, что приводит к коллапсу преимуществ. Существующие работы обычно решают эту задачу с двух сторон: принудительное отражение модели для повышения разнообразия ответов и введение внутренней обратной связи для усиления обучающего сигнала (преимущества). В данной работе мы сначала анализируем ограничения отражения модели и исследуем энтропию политики ответов на уровне отдельных примеров. На основе наших экспериментальных результатов мы предлагаем алгоритм EDGE-GRPO, который использует преимущество, управляемое энтропией, и коррекцию ошибок с направляющей обратной связью для эффективного устранения проблемы коллапса преимуществ. Многочисленные эксперименты на нескольких основных тестовых наборах для рассуждений демонстрируют эффективность и превосходство нашего подхода. Он доступен по адресу https://github.com/ZhangXJ199/EDGE-GRPO.

English

Large Language Models (LLMs) have made remarkable progress in enhancing step-by-step reasoning through reinforcement learning. However, the Group Relative Policy Optimization (GRPO) algorithm, which relies on sparse reward rules, often encounters the issue of identical rewards within groups, leading to the advantage collapse problem. Existing works typically address this challenge from two perspectives: enforcing model reflection to enhance response diversity, and introducing internal feedback to augment the training signal (advantage). In this work, we begin by analyzing the limitations of model reflection and investigating the policy entropy of responses at the fine-grained sample level. Based on our experimental findings, we propose the EDGE-GRPO algorithm, which adopts Entropy-Driven Advantage and Guided Error Correction to effectively mitigate the problem of advantage collapse. Extensive experiments on several main reasoning benchmarks demonstrate the effectiveness and superiority of our approach. It is available at https://github.com/ZhangXJ199/EDGE-GRPO.