За пределами Pass@1: Самоигра с вариационным синтезом задач поддерживает RLVR

Beyond Pass@1: Self-Play with Variational Problem Synthesis Sustains RLVR

August 19, 2025

Авторы: Xiao Liang, Zhongzhi Li, Yeyun Gong, Yelong Shen, Ying Nian Wu, Zhijiang Guo, Weizhu Chen

cs.AI

Аннотация

Обучение с подкреплением с верифицируемыми наградами (RLVR) недавно стало ключевой парадигмой для посттренировки больших языковых моделей (LLM), особенно для сложных задач логического рассуждения. Однако было показано, что стандартное обучение RLVR улучшает производительность Pass@1 за счет снижения энтропии политики, что приводит к уменьшению разнообразия генерации и ограничивает производительность Pass@k, которая обычно представляет верхнюю границу способности LLM к рассуждению. В данной работе мы систематически анализируем разнообразие генерации политики с точки зрения тренировочных задач и обнаруживаем, что расширение и обновление тренировочных задач помогает смягчить коллапс энтропии в процессе обучения. На основе этих наблюдений мы предлагаем стратегию онлайн-самоигры с вариационным синтезом задач (SvS) для обучения RLVR, которая использует правильные решения политики для синтеза вариативных задач, при этом гарантируя, что их эталонные ответы остаются идентичными оригинальным. Эта стратегия самосовершенствования эффективно поддерживает энтропию политики в процессе обучения и значительно улучшает Pass@k по сравнению со стандартным RLVR, обеспечивая продолжительные улучшения и достигая абсолютного прироста в 18,3% и 22,8% в производительности Pass@32 на соревновательных бенчмарках AIME24 и AIME25. Эксперименты на 12 бенчмарках логического рассуждения для моделей различных размеров от 3B до 32B последовательно демонстрируют обобщаемость и устойчивость стратегии SvS.

English

Reinforcement Learning with Verifiable Rewards (RLVR) has recently emerged as a key paradigm for post-training Large Language Models (LLMs), particularly for complex reasoning tasks. However, vanilla RLVR training has been shown to improve Pass@1 performance at the expense of policy entropy, leading to reduced generation diversity and limiting the Pass@k performance, which typically represents the upper bound of LLM reasoning capability. In this paper, we systematically analyze the policy's generation diversity from the perspective of training problems and find that augmenting and updating training problems helps mitigate entropy collapse during training. Based on these observations, we propose an online Self-play with Variational problem Synthesis (SvS) strategy for RLVR training, which uses the policy's correct solutions to synthesize variational problems while ensuring their reference answers remain identical to the originals. This self-improving strategy effectively maintains policy entropy during training and substantially improves Pass@k compared with standard RLVR, sustaining prolonged improvements and achieving absolute gains of 18.3% and 22.8% in Pass@32 performance on the competition-level AIME24 and AIME25 benchmarks. Experiments on 12 reasoning benchmarks across varying model sizes from 3B to 32B consistently demonstrate the generalizability and robustness of SvS.