Além do Pass@1: Autojogo com Síntese Variacional de Problemas Sustenta o RLVR

Beyond Pass@1: Self-Play with Variational Problem Synthesis Sustains RLVR

August 19, 2025

Autores: Xiao Liang, Zhongzhi Li, Yeyun Gong, Yelong Shen, Ying Nian Wu, Zhijiang Guo, Weizhu Chen

cs.AI

Resumo

O Aprendizado por Reforço com Recompensas Verificáveis (RLVR) surgiu recentemente como um paradigma fundamental para o pós-treinamento de Modelos de Linguagem de Grande Escala (LLMs), especialmente para tarefas de raciocínio complexo. No entanto, o treinamento RLVR padrão demonstrou melhorar o desempenho Pass@1 à custa da entropia da política, levando à redução da diversidade de geração e limitando o desempenho Pass@k, que tipicamente representa o limite superior da capacidade de raciocínio dos LLMs. Neste artigo, analisamos sistematicamente a diversidade de geração da política sob a perspectiva dos problemas de treinamento e descobrimos que a ampliação e atualização dos problemas de treinamento ajudam a mitigar o colapso de entropia durante o treinamento. Com base nessas observações, propomos uma estratégia de Autojogo Online com Síntese Variacional de Problemas (SvS) para o treinamento RLVR, que utiliza as soluções corretas da política para sintetizar problemas variacionais, garantindo que suas respostas de referência permaneçam idênticas às originais. Essa estratégia de autoaperfeiçoamento mantém efetivamente a entropia da política durante o treinamento e melhora substancialmente o Pass@k em comparação com o RLVR padrão, sustentando melhorias prolongadas e alcançando ganhos absolutos de 18,3% e 22,8% no desempenho Pass@32 nos benchmarks de nível competitivo AIME24 e AIME25. Experimentos em 12 benchmarks de raciocínio, com tamanhos de modelo variando de 3B a 32B, demonstram consistentemente a generalizabilidade e robustez do SvS.

English

Reinforcement Learning with Verifiable Rewards (RLVR) has recently emerged as a key paradigm for post-training Large Language Models (LLMs), particularly for complex reasoning tasks. However, vanilla RLVR training has been shown to improve Pass@1 performance at the expense of policy entropy, leading to reduced generation diversity and limiting the Pass@k performance, which typically represents the upper bound of LLM reasoning capability. In this paper, we systematically analyze the policy's generation diversity from the perspective of training problems and find that augmenting and updating training problems helps mitigate entropy collapse during training. Based on these observations, we propose an online Self-play with Variational problem Synthesis (SvS) strategy for RLVR training, which uses the policy's correct solutions to synthesize variational problems while ensuring their reference answers remain identical to the originals. This self-improving strategy effectively maintains policy entropy during training and substantially improves Pass@k compared with standard RLVR, sustaining prolonged improvements and achieving absolute gains of 18.3% and 22.8% in Pass@32 performance on the competition-level AIME24 and AIME25 benchmarks. Experiments on 12 reasoning benchmarks across varying model sizes from 3B to 32B consistently demonstrate the generalizability and robustness of SvS.