Svelare la Simmetria del Vantaggio Implicito: Perché il GRPO Fatica con l'Esplorazione e l'Adattamento alla Difficoltà
Unveiling Implicit Advantage Symmetry: Why GRPO Struggles with Exploration and Difficulty Adaptation
February 5, 2026
Autori: Zhiqi Yu, Zhangquan Chen, Mengting Liu, Heye Zhang, Liangqiong Qu
cs.AI
Abstract
L'Apprendimento per Rinforzo con Ricompense Verificabili (RLVR), in particolare GRPO, è diventato lo standard per elicitare il ragionamento nei LLM. Tuttavia, la sua efficienza nell'esplorazione e nell'adattamento alla difficoltà rimane una sfida aperta. In questo lavoro, sosteniamo che questi colli di bottiglia derivino da una simmetria implicita del vantaggio intrinseca nella Stima del Vantaggio Relativo di Gruppo (GRAE). Questa simmetria induce due limitazioni critiche: (i) a livello di gruppo, la rigida simmetria nei pesi tra traiettorie corrette e scorrette lascia invariati i logit delle azioni non campionate, ostacolando così l'esplorazione di nuove soluzioni corrette. (ii) a livello del campione, l'algoritmo dà priorità implicitamente a campioni di media difficoltà, rimanendo agnostico rispetto alle richieste non stazionarie di focalizzazione sulla difficoltà. Attraverso esperimenti controllati, riveliamo che questa proprietà simmetrica è sub-ottimale, producendo due intuizioni fondamentali: (i) sopprimere asimmetricamente i vantaggi delle traiettorie corrette incoraggia un'esplorazione essenziale. (ii) l'efficienza di apprendimento è massimizzata da una transizione simile a un curriculum che dà priorità inizialmente a campioni più semplici, per spostarsi gradualmente verso quelli complessi. Motivati da questi risultati, proponiamo GRAE Asimmetrico (A-GRAE), che modula dinamicamente gli incentivi all'esplorazione e la focalizzazione sulla difficoltà del campione. Esperimenti su sette benchmark dimostrano che A-GRAE migliora costantemente GRPO e le sue varianti sia per i LLM che per i MLLM.
English
Reinforcement Learning with Verifiable Rewards (RLVR), particularly GRPO, has become the standard for eliciting LLM reasoning. However, its efficiency in exploration and difficulty adaptation remains an open challenge. In this work, we argue that these bottlenecks stem from an implicit advantage symmetry inherent in Group Relative Advantage Estimation (GRAE). This symmetry induces two critical limitations: (i) at the group level, strict symmetry in weights between correct and incorrect trajectories leaves unsampled action logits unchanged, thereby hindering exploration of novel correct solution. (ii) at the sample level, the algorithm implicitly prioritizes medium-difficulty samples, remaining agnostic to the non-stationary demands of difficulty focus. Through controlled experiments, we reveal that this symmetric property is sub-optimal, yielding two pivotal insights: (i) asymmetrically suppressing the advantages of correct trajectories encourages essential exploration. (ii) learning efficiency is maximized by a curriculum-like transition-prioritizing simpler samples initially before gradually shifting to complex ones. Motivated by these findings, we propose Asymmetric GRAE (A-GRAE), which dynamically modulates exploration incentives and sample-difficulty focus. Experiments across seven benchmarks demonstrate that A-GRAE consistently improves GRPO and its variants across both LLMs and MLLMs.