Voorbij Pass@1: Zelfspel met Variational Problem Synthesis Ondersteunt RLVR

Beyond Pass@1: Self-Play with Variational Problem Synthesis Sustains RLVR

August 19, 2025

Auteurs: Xiao Liang, Zhongzhi Li, Yeyun Gong, Yelong Shen, Ying Nian Wu, Zhijiang Guo, Weizhu Chen

cs.AI

Samenvatting

Reinforcement Learning met Verifieerbare Beloningen (RLVR) is recentelijk naar voren gekomen als een belangrijk paradigma voor het na-trainen van Grote Taalmodellen (LLMs), met name voor complexe redeneertaken. Echter, standaard RLVR-training blijkt de Pass@1-prestatie te verbeteren ten koste van de entropie van het beleid, wat leidt tot verminderde generatiediversiteit en een beperking van de Pass@k-prestatie, die doorgaans de bovengrens van de redeneercapaciteit van LLMs vertegenwoordigt. In dit artikel analyseren we systematisch de generatiediversiteit van het beleid vanuit het perspectief van trainingsproblemen en ontdekken we dat het uitbreiden en updaten van trainingsproblemen helpt om entropie-instorting tijdens de training te verminderen. Op basis van deze observaties stellen we een online Self-play met Variational Problem Synthesis (SvS)-strategie voor voor RLVR-training, die de correcte oplossingen van het beleid gebruikt om variatieproblemen te synthetiseren terwijl wordt gegarandeerd dat hun referentieantwoorden identiek blijven aan de originelen. Deze zelfverbeterende strategie handhaaft effectief de entropie van het beleid tijdens de training en verbetert Pass@k aanzienlijk in vergelijking met standaard RLVR, waarbij langdurige verbeteringen worden behouden en absolute winsten van 18,3% en 22,8% worden behaald in Pass@32-prestaties op de competitieniveau AIME24- en AIME25-benchmarks. Experimenten op 12 redeneerbenchmarks over verschillende modelgroottes van 3B tot 32B tonen consistent de generaliseerbaarheid en robuustheid van SvS aan.

English

Reinforcement Learning with Verifiable Rewards (RLVR) has recently emerged as a key paradigm for post-training Large Language Models (LLMs), particularly for complex reasoning tasks. However, vanilla RLVR training has been shown to improve Pass@1 performance at the expense of policy entropy, leading to reduced generation diversity and limiting the Pass@k performance, which typically represents the upper bound of LLM reasoning capability. In this paper, we systematically analyze the policy's generation diversity from the perspective of training problems and find that augmenting and updating training problems helps mitigate entropy collapse during training. Based on these observations, we propose an online Self-play with Variational problem Synthesis (SvS) strategy for RLVR training, which uses the policy's correct solutions to synthesize variational problems while ensuring their reference answers remain identical to the originals. This self-improving strategy effectively maintains policy entropy during training and substantially improves Pass@k compared with standard RLVR, sustaining prolonged improvements and achieving absolute gains of 18.3% and 22.8% in Pass@32 performance on the competition-level AIME24 and AIME25 benchmarks. Experiments on 12 reasoning benchmarks across varying model sizes from 3B to 32B consistently demonstrate the generalizability and robustness of SvS.