ExGRPO: Обучение логическому мышлению на основе опыта

ExGRPO: Learning to Reason from Experience

October 2, 2025

Авторы: Runzhe Zhan, Yafu Li, Zhi Wang, Xiaoye Qu, Dongrui Liu, Jing Shao, Derek F. Wong, Yu Cheng

cs.AI

Аннотация

Обучение с подкреплением на основе проверяемых наград (RLVR) — это новая парадигма для улучшения способности крупных языковых моделей к рассуждению. Однако стандартное обучение с использованием текущей политики отбрасывает опыт, полученный в ходе прогонов, после одного обновления, что приводит к вычислительной неэффективности и нестабильности. Хотя предыдущие работы по обучению с подкреплением подчеркивали преимущества повторного использования прошлого опыта, роль характеристик опыта в формировании динамики обучения крупных моделей рассуждений остается недостаточно изученной. В данной работе мы впервые исследуем, что делает опыт рассуждений ценным, и определяем корректность прогонов и энтропию как эффективные индикаторы ценности опыта. На основе этих инсайтов мы предлагаем ExGRPO (Experiential Group Relative Policy Optimization) — фреймворк, который организует и приоритизирует ценный опыт, а также использует смешанную целевую функцию для баланса между исследованием и использованием опыта. Эксперименты на пяти базовых моделях (1,5–8 млрд параметров) показывают, что ExGRPO стабильно улучшает производительность в задачах рассуждения на математических и общих тестах, с средним приростом на +3,5/7,6 баллов по сравнению с RLVR, использующим текущую политику. Более того, ExGRPO стабилизирует обучение как на более сильных, так и на более слабых моделях, где методы, основанные на текущей политике, терпят неудачу. Эти результаты подчеркивают принципиальное управление опытом как ключевой компонент для эффективного и масштабируемого RLVR.

English

Reinforcement learning from verifiable rewards (RLVR) is an emerging paradigm for improving the reasoning ability of large language models. However, standard on-policy training discards rollout experiences after a single update, leading to computational inefficiency and instability. While prior work on RL has highlighted the benefits of reusing past experience, the role of experience characteristics in shaping learning dynamics of large reasoning models remains underexplored. In this paper, we are the first to investigate what makes a reasoning experience valuable and identify rollout correctness and entropy as effective indicators of experience value. Based on these insights, we propose ExGRPO (Experiential Group Relative Policy Optimization), a framework that organizes and prioritizes valuable experiences, and employs a mixed-policy objective to balance exploration with experience exploitation. Experiments on five backbone models (1.5B-8B parameters) show that ExGRPO consistently improves reasoning performance on mathematical/general benchmarks, with an average gain of +3.5/7.6 points over on-policy RLVR. Moreover, ExGRPO stabilizes training on both stronger and weaker models where on-policy methods fail. These results highlight principled experience management as a key ingredient for efficient and scalable RLVR.