ExGRPO: Apprendimento del ragionamento basato sull'esperienza

ExGRPO: Learning to Reason from Experience

October 2, 2025

Autori: Runzhe Zhan, Yafu Li, Zhi Wang, Xiaoye Qu, Dongrui Liu, Jing Shao, Derek F. Wong, Yu Cheng

cs.AI

Abstract

L'apprendimento per rinforzo da ricompense verificabili (RLVR) è un paradigma emergente per migliorare le capacità di ragionamento dei grandi modelli linguistici. Tuttavia, l'addestramento on-policy standard scarta le esperienze di rollout dopo un singolo aggiornamento, portando a inefficienza computazionale e instabilità. Sebbene lavori precedenti sull'RL abbiano evidenziato i benefici del riutilizzo delle esperienze passate, il ruolo delle caratteristiche delle esperienze nel modellare le dinamiche di apprendimento dei grandi modelli di ragionamento rimane poco esplorato. In questo articolo, siamo i primi a indagare cosa rende preziosa un'esperienza di ragionamento e identifichiamo la correttezza del rollout e l'entropia come indicatori efficaci del valore dell'esperienza. Sulla base di queste intuizioni, proponiamo ExGRPO (Experiential Group Relative Policy Optimization), un framework che organizza e priorizza le esperienze preziose e impiega un obiettivo di politica mista per bilanciare l'esplorazione con lo sfruttamento delle esperienze. Esperimenti su cinque modelli di base (1,5B-8B parametri) mostrano che ExGRPO migliora costantemente le prestazioni di ragionamento su benchmark matematici/generali, con un guadagno medio di +3,5/7,6 punti rispetto all'RLVR on-policy. Inoltre, ExGRPO stabilizza l'addestramento sia su modelli più forti che più deboli dove i metodi on-policy falliscono. Questi risultati evidenziano la gestione delle esperienze basata su principi come un ingrediente chiave per un RLVR efficiente e scalabile.

English

Reinforcement learning from verifiable rewards (RLVR) is an emerging paradigm for improving the reasoning ability of large language models. However, standard on-policy training discards rollout experiences after a single update, leading to computational inefficiency and instability. While prior work on RL has highlighted the benefits of reusing past experience, the role of experience characteristics in shaping learning dynamics of large reasoning models remains underexplored. In this paper, we are the first to investigate what makes a reasoning experience valuable and identify rollout correctness and entropy as effective indicators of experience value. Based on these insights, we propose ExGRPO (Experiential Group Relative Policy Optimization), a framework that organizes and prioritizes valuable experiences, and employs a mixed-policy objective to balance exploration with experience exploitation. Experiments on five backbone models (1.5B-8B parameters) show that ExGRPO consistently improves reasoning performance on mathematical/general benchmarks, with an average gain of +3.5/7.6 points over on-policy RLVR. Moreover, ExGRPO stabilizes training on both stronger and weaker models where on-policy methods fail. These results highlight principled experience management as a key ingredient for efficient and scalable RLVR.