Раскрытие симметрии неявного преимущества: почему GRPO испытывает трудности с исследованием и адаптацией к сложности

Unveiling Implicit Advantage Symmetry: Why GRPO Struggles with Exploration and Difficulty Adaptation

February 5, 2026

Авторы: Zhiqi Yu, Zhangquan Chen, Mengting Liu, Heye Zhang, Liangqiong Qu

cs.AI

Аннотация

Обучение с подкреплением с верифицируемыми вознаграждениями (RLVR), в частности GRPO, стало стандартом для выявления рассуждений в больших языковых моделях (LLM). Однако эффективность его исследования среды и адаптации к сложности остаются открытой проблемой. В данной работе мы утверждаем, что эти узкие места проистекают из неявной симметрии преимуществ, присущей групповой относительной оценке преимуществ (GRAE). Эта симметрия порождает два критических ограничения: (i) на групповом уровне строгая симметрия в весах между корректными и некорректными траекториями оставляет несэмплированные логиты действий неизменными, тем самым препятствуя исследованию новых корректных решений; (ii) на уровне сэмплов алгоритм неявно отдает приоритет образцам средней сложности, оставаясь агностичным к нестационарным требованиям фокусировки на сложности. В контролируемых экспериментах мы показываем, что это симметричное свойство субоптимально, что приводит к двум ключевым выводам: (i) асимметричное подавление преимуществ корректных траекторий стимулирует необходимое исследование; (ii) эффективность обучения максимизируется при учебном плане, который изначально отдает приоритет более простым образцам, прежде чем постепенно переходить к сложным. Мотивированные этими результатами, мы предлагаем асимметричную GRAE (A-GRAE), которая динамически модулирует стимулы для исследования и фокус на сложности образцов. Эксперименты на семи бенчмарках демонстрируют, что A-GRAE последовательно улучшает GRPO и его варианты как для LLM, так и для мультимодальных LLM (MLLM).

English

Reinforcement Learning with Verifiable Rewards (RLVR), particularly GRPO, has become the standard for eliciting LLM reasoning. However, its efficiency in exploration and difficulty adaptation remains an open challenge. In this work, we argue that these bottlenecks stem from an implicit advantage symmetry inherent in Group Relative Advantage Estimation (GRAE). This symmetry induces two critical limitations: (i) at the group level, strict symmetry in weights between correct and incorrect trajectories leaves unsampled action logits unchanged, thereby hindering exploration of novel correct solution. (ii) at the sample level, the algorithm implicitly prioritizes medium-difficulty samples, remaining agnostic to the non-stationary demands of difficulty focus. Through controlled experiments, we reveal that this symmetric property is sub-optimal, yielding two pivotal insights: (i) asymmetrically suppressing the advantages of correct trajectories encourages essential exploration. (ii) learning efficiency is maximized by a curriculum-like transition-prioritizing simpler samples initially before gradually shifting to complex ones. Motivated by these findings, we propose Asymmetric GRAE (A-GRAE), which dynamically modulates exploration incentives and sample-difficulty focus. Experiments across seven benchmarks demonstrate that A-GRAE consistently improves GRPO and its variants across both LLMs and MLLMs.