Градиентная перспектива стабильности RLVR и оптимизации политики с преимуществом победителя

Аннотация

Обучение с подкреплением на основе проверяемых вознаграждений (RLVR) повышает качество рассуждений языковых моделей, однако оптимизация в стиле GRPO по-прежнему подвержена коллапсу. Мы анализируем эту нестабильность на основе градиентной динамики на уровне токенов, выводя таксономию, которая предсказывает, как обновления влияют на вероятности следующего токена и энтропию. Таксономия показывает, что стабильность совместно зависит от знака преимущества и распределения токенов при текущей политике. Руководствуясь этим результатом, мы предлагаем Winner Advantage Policy Optimization (WAPO) — простую онлайн-целевую функцию клиппированного градиента политики, которая обновляется только на завершениях с положительным преимуществом. На эталонных тестах математических рассуждений и многошаговых ответов на вопросы WAPO улучшает стабильность обучения и достигает результатов, не уступающих базовым моделям или превосходящих их, в нескольких семействах моделей. Полный код доступен по адресу https://github.com/layer6ai-labs/wapo.

English

Reinforcement learning with verifiable rewards (RLVR) improves language-model reasoning, but GRPO-style optimization remains prone to collapse. We analyse this instability through token-level gradient dynamics, deriving a taxonomy that predicts how updates affect next-token probabilities and entropy. The taxonomy shows that stability depends jointly on the advantage sign and token distribution under the current policy. Motivated by this finding, we propose Winner Advantage Policy Optimization (WAPO), a simple online clipped policy-gradient objective that updates only on positive-advantage completions. Across mathematical reasoning and multi-hop QA benchmarks, WAPO improves training stability and matches or outperforms baselines across multiple model families. Full code can be found at https://github.com/layer6ai-labs/wapo.