Het onthullen van impliciete voordelsymmetrie: Waarom GRPO moeite heeft met exploratie en moeilijkheidsaanpassing

Unveiling Implicit Advantage Symmetry: Why GRPO Struggles with Exploration and Difficulty Adaptation

February 5, 2026

Auteurs: Zhiqi Yu, Zhangquan Chen, Mengting Liu, Heye Zhang, Liangqiong Qu

cs.AI

Samenvatting

Reinforcement Learning met Verifieerbare Beloningen (RLVR), in het bijzonder GRPO, is de standaardmethode geworden voor het uitlokken van redeneervermogen bij LLM's. De efficiëntie ervan bij exploratie en aanpassing aan moeilijkheidsgraad blijft echter een open uitdaging. In dit werk stellen wij dat deze knelpunten voortkomen uit een impliciet voordeelsymmetrie die inherent is aan Groepsrelatieve Voordeelschatting (GRAE). Deze symmetrie induceert twee kritieke beperkingen: (i) op groepsniveau laat strikte symmetrie in gewichten tussen correcte en incorrecte trajecten de onbemonsterde actie-logits onveranderd, waardoor exploratie van nieuwe correcte oplossingen wordt belemmerd. (ii) op steekproefniveau prioriteert het algoritme impliciet steekproeven van gemiddelde moeilijkheidsgraad, en blijft het agnostisch ten opzichte van de niet-stationaire eisen van moeilijkheidsfocus. Door middel van gecontroleerde experimenten tonen wij aan dat deze symmetrische eigenschap suboptimaal is, wat twee cruciale inzichten oplevert: (i) asymmetrisch onderdrukken van de voordelen van correcte trajecten stimuleert essentiële exploratie. (ii) de leerefficiëntie wordt gemaximaliseerd door een curriculum-achtige overgang die aanvankelijk eenvoudigere steekproeven prioriteert alvorens geleidelijk naar complexere over te schakelen. Gemotiveerd door deze bevindingen stellen wij Asymmetrische GRAE (A-GRAE) voor, dat dynamisch de prikkels voor exploratie en de focus op steekproefmoeilijkheid moduleert. Experimenten over zeven benchmarks tonen aan dat A-GRAE consequent GRPO en zijn varianten verbetert bij zowel LLM's als MLLM's.

English

Reinforcement Learning with Verifiable Rewards (RLVR), particularly GRPO, has become the standard for eliciting LLM reasoning. However, its efficiency in exploration and difficulty adaptation remains an open challenge. In this work, we argue that these bottlenecks stem from an implicit advantage symmetry inherent in Group Relative Advantage Estimation (GRAE). This symmetry induces two critical limitations: (i) at the group level, strict symmetry in weights between correct and incorrect trajectories leaves unsampled action logits unchanged, thereby hindering exploration of novel correct solution. (ii) at the sample level, the algorithm implicitly prioritizes medium-difficulty samples, remaining agnostic to the non-stationary demands of difficulty focus. Through controlled experiments, we reveal that this symmetric property is sub-optimal, yielding two pivotal insights: (i) asymmetrically suppressing the advantages of correct trajectories encourages essential exploration. (ii) learning efficiency is maximized by a curriculum-like transition-prioritizing simpler samples initially before gradually shifting to complex ones. Motivated by these findings, we propose Asymmetric GRAE (A-GRAE), which dynamically modulates exploration incentives and sample-difficulty focus. Experiments across seven benchmarks demonstrate that A-GRAE consistently improves GRPO and its variants across both LLMs and MLLMs.