Oltre Pass@1: L'auto-gioco con sintesi variazionale di problemi sostiene RLVR

Beyond Pass@1: Self-Play with Variational Problem Synthesis Sustains RLVR

August 19, 2025

Autori: Xiao Liang, Zhongzhi Li, Yeyun Gong, Yelong Shen, Ying Nian Wu, Zhijiang Guo, Weizhu Chen

cs.AI

Abstract

Il Reinforcement Learning con Ricompense Verificabili (RLVR) è emerso recentemente come un paradigma chiave per il post-addestramento di Modelli Linguistici di Grande Scala (LLMs), in particolare per compiti di ragionamento complesso. Tuttavia, è stato dimostrato che l'addestramento RLVR standard migliora le prestazioni Pass@1 a scapito dell'entropia della policy, portando a una riduzione della diversità nella generazione e limitando le prestazioni Pass@k, che tipicamente rappresentano il limite superiore della capacità di ragionamento degli LLMs. In questo articolo, analizziamo sistematicamente la diversità nella generazione della policy dal punto di vista dei problemi di addestramento e scopriamo che l'ampliamento e l'aggiornamento dei problemi di addestramento aiutano a mitigare il collasso dell'entropia durante l'addestramento. Sulla base di queste osservazioni, proponiamo una strategia online di Self-play con Sintesi Variazionale di Problemi (SvS) per l'addestramento RLVR, che utilizza le soluzioni corrette della policy per sintetizzare problemi variazionali garantendo che le risposte di riferimento rimangano identiche a quelle originali. Questa strategia di auto-miglioramento mantiene efficacemente l'entropia della policy durante l'addestramento e migliora sostanzialmente le prestazioni Pass@k rispetto all'RLVR standard, sostenendo miglioramenti prolungati e ottenendo guadagni assoluti del 18,3% e del 22,8% nelle prestazioni Pass@32 sui benchmark di livello competitivo AIME24 e AIME25. Esperimenti su 12 benchmark di ragionamento con dimensioni del modello variabili da 3B a 32B dimostrano costantemente la generalizzabilità e la robustezza di SvS.

English

Reinforcement Learning with Verifiable Rewards (RLVR) has recently emerged as a key paradigm for post-training Large Language Models (LLMs), particularly for complex reasoning tasks. However, vanilla RLVR training has been shown to improve Pass@1 performance at the expense of policy entropy, leading to reduced generation diversity and limiting the Pass@k performance, which typically represents the upper bound of LLM reasoning capability. In this paper, we systematically analyze the policy's generation diversity from the perspective of training problems and find that augmenting and updating training problems helps mitigate entropy collapse during training. Based on these observations, we propose an online Self-play with Variational problem Synthesis (SvS) strategy for RLVR training, which uses the policy's correct solutions to synthesize variational problems while ensuring their reference answers remain identical to the originals. This self-improving strategy effectively maintains policy entropy during training and substantially improves Pass@k compared with standard RLVR, sustaining prolonged improvements and achieving absolute gains of 18.3% and 22.8% in Pass@32 performance on the competition-level AIME24 and AIME25 benchmarks. Experiments on 12 reasoning benchmarks across varying model sizes from 3B to 32B consistently demonstrate the generalizability and robustness of SvS.