Enthüllung der impliziten Vorteilssymmetrie: Warum GRPO mit Exploration und Schwierigkeitsanpassung kämpft

Unveiling Implicit Advantage Symmetry: Why GRPO Struggles with Exploration and Difficulty Adaptation

February 5, 2026

papers.authors: Zhiqi Yu, Zhangquan Chen, Mengting Liu, Heye Zhang, Liangqiong Qu

cs.AI

papers.abstract

Reinforcement Learning mit verifizierbaren Belohnungen (RLVR), insbesondere GRPO, hat sich zum Standard für das Hervorrufen von LLM-Argumentation entwickelt. Seine Effizienz bei der Exploration und Schwierigkeitsanpassung bleibt jedoch eine offene Herausforderung. In dieser Arbeit argumentieren wir, dass diese Engpässe von einer impliziten Vorteilssymmetrie herrühren, die der Gruppenrelativen Vorteilsschätzung (GRAE) innewohnt. Diese Symmetrie induziert zwei kritische Einschränkungen: (i) Auf Gruppenebene lässt die strikte Symmetrie in den Gewichten zwischen korrekten und inkorrekten Trajektorien die ungesampelten Aktionslogits unverändert, was folglich die Exploration neuartiger korrekter Lösungen behindert. (ii) Auf der Probenebene priorisiert der Algorithmus implizit Proben mittlerer Schwierigkeit und bleibt gegenüber den nicht-stationären Anforderungen einer Schwierigkeitsfokussierung agnostisch. Durch kontrollierte Experimente zeigen wir, dass diese symmetrische Eigenschaft suboptimal ist, was zwei zentrale Erkenntnisse liefert: (i) Das asymmetrische Unterdrücken der Vorteile korrekter Trajektorien fördert die notwendige Exploration. (ii) Die Lerneffizienz wird durch einen curriculumähnlichen Übergang maximiert, der zunächst einfachere Proben priorisiert, bevor schrittweise zu komplexeren übergegangen wird. Motiviert durch diese Erkenntnisse schlagen wir Asymmetrische GRAE (A-GRAE) vor, das Explorationsanreize und den Proben-Schwierigkeitsfokus dynamisch moduliert. Experimente über sieben Benchmarks demonstrieren, dass A-GRAE GRPO und seine Varianten durchgängig sowohl bei LLMs als auch MLLMs verbessert.

English

Reinforcement Learning with Verifiable Rewards (RLVR), particularly GRPO, has become the standard for eliciting LLM reasoning. However, its efficiency in exploration and difficulty adaptation remains an open challenge. In this work, we argue that these bottlenecks stem from an implicit advantage symmetry inherent in Group Relative Advantage Estimation (GRAE). This symmetry induces two critical limitations: (i) at the group level, strict symmetry in weights between correct and incorrect trajectories leaves unsampled action logits unchanged, thereby hindering exploration of novel correct solution. (ii) at the sample level, the algorithm implicitly prioritizes medium-difficulty samples, remaining agnostic to the non-stationary demands of difficulty focus. Through controlled experiments, we reveal that this symmetric property is sub-optimal, yielding two pivotal insights: (i) asymmetrically suppressing the advantages of correct trajectories encourages essential exploration. (ii) learning efficiency is maximized by a curriculum-like transition-prioritizing simpler samples initially before gradually shifting to complex ones. Motivated by these findings, we propose Asymmetric GRAE (A-GRAE), which dynamically modulates exploration incentives and sample-difficulty focus. Experiments across seven benchmarks demonstrate that A-GRAE consistently improves GRPO and its variants across both LLMs and MLLMs.