Pass@1を超えて：変分問題合成を伴う自己対戦が持続するRLVR

Beyond Pass@1: Self-Play with Variational Problem Synthesis Sustains RLVR

August 19, 2025

著者: Xiao Liang, Zhongzhi Li, Yeyun Gong, Yelong Shen, Ying Nian Wu, Zhijiang Guo, Weizhu Chen

cs.AI

要旨

検証可能な報酬を伴う強化学習（Reinforcement Learning with Verifiable Rewards, RLVR）は、特に複雑な推論タスクにおいて、大規模言語モデル（Large Language Models, LLMs）のポストトレーニングにおける重要なパラダイムとして最近注目を集めている。しかし、従来のRLVRトレーニングは、Pass@1の性能を向上させる一方で、ポリシーのエントロピーを犠牲にし、生成の多様性を減少させ、LLMの推論能力の上限を表すPass@kの性能を制限することが示されている。本論文では、トレーニング問題の観点からポリシーの生成多様性を体系的に分析し、トレーニング問題の拡張と更新がトレーニング中のエントロピー崩壊を緩和することを明らかにする。これらの観察に基づき、RLVRトレーニングのためのオンライン自己対戦と変分問題合成（Self-play with Variational problem Synthesis, SvS）戦略を提案する。この戦略では、ポリシーの正しい解を用いて変分問題を合成し、その参照回答が元の問題と同一であることを保証する。この自己改善戦略は、トレーニング中のポリシーエントロピーを効果的に維持し、標準的なRLVRと比較してPass@kを大幅に向上させ、競争レベルのAIME24およびAIME25ベンチマークにおいてPass@32性能でそれぞれ18.3%および22.8%の絶対的な向上を達成し、持続的な改善を実現する。3Bから32Bまでのさまざまなモデルサイズにわたる12の推論ベンチマークでの実験は、SvSの一般化可能性と堅牢性を一貫して示している。

English

Reinforcement Learning with Verifiable Rewards (RLVR) has recently emerged as a key paradigm for post-training Large Language Models (LLMs), particularly for complex reasoning tasks. However, vanilla RLVR training has been shown to improve Pass@1 performance at the expense of policy entropy, leading to reduced generation diversity and limiting the Pass@k performance, which typically represents the upper bound of LLM reasoning capability. In this paper, we systematically analyze the policy's generation diversity from the perspective of training problems and find that augmenting and updating training problems helps mitigate entropy collapse during training. Based on these observations, we propose an online Self-play with Variational problem Synthesis (SvS) strategy for RLVR training, which uses the policy's correct solutions to synthesize variational problems while ensuring their reference answers remain identical to the originals. This self-improving strategy effectively maintains policy entropy during training and substantially improves Pass@k compared with standard RLVR, sustaining prolonged improvements and achieving absolute gains of 18.3% and 22.8% in Pass@32 performance on the competition-level AIME24 and AIME25 benchmarks. Experiments on 12 reasoning benchmarks across varying model sizes from 3B to 32B consistently demonstrate the generalizability and robustness of SvS.