Jenseits von Pass@1: Selbstspiel mit variabler Problemsynthese erhält RLVR aufrecht

Beyond Pass@1: Self-Play with Variational Problem Synthesis Sustains RLVR

August 19, 2025

papers.authors: Xiao Liang, Zhongzhi Li, Yeyun Gong, Yelong Shen, Ying Nian Wu, Zhijiang Guo, Weizhu Chen

cs.AI

papers.abstract

Reinforcement Learning mit verifizierbaren Belohnungen (RLVR) hat sich kürzlich als ein zentrales Paradigma für das Post-Training von Large Language Models (LLMs), insbesondere für komplexe Denkaufgaben, etabliert. Allerdings hat sich gezeigt, dass das Standard-RLVR-Training die Pass@1-Leistung auf Kosten der Policy-Entropie verbessert, was zu einer reduzierten Generierungsvielfalt führt und die Pass@k-Leistung einschränkt, die typischerweise die Obergrenze der Denkfähigkeit von LLMs darstellt. In diesem Artikel analysieren wir systematisch die Generierungsvielfalt der Policy aus der Perspektive von Trainingsproblemen und stellen fest, dass die Erweiterung und Aktualisierung von Trainingsproblemen dazu beiträgt, den Entropieverlust während des Trainings zu mildern. Basierend auf diesen Beobachtungen schlagen wir eine Online-Selbstspielstrategie mit variabler Problemsynthese (SvS) für das RLVR-Training vor, die korrekte Lösungen der Policy verwendet, um variable Probleme zu synthetisieren, während sichergestellt wird, dass deren Referenzantworten mit den Originalen übereinstimmen. Diese selbstverbessernde Strategie erhält effektiv die Policy-Entropie während des Trainings und verbessert Pass@k im Vergleich zum Standard-RLVR erheblich, wodurch langfristige Verbesserungen erzielt werden und absolute Gewinne von 18,3 % und 22,8 % in der Pass@32-Leistung auf den wettbewerbsorientierten Benchmarks AIME24 und AIME25 erreicht werden. Experimente auf 12 Denkbenchmarks über verschiedene Modellgrößen von 3B bis 32B demonstrieren konsequent die Generalisierbarkeit und Robustheit von SvS.

English

Reinforcement Learning with Verifiable Rewards (RLVR) has recently emerged as a key paradigm for post-training Large Language Models (LLMs), particularly for complex reasoning tasks. However, vanilla RLVR training has been shown to improve Pass@1 performance at the expense of policy entropy, leading to reduced generation diversity and limiting the Pass@k performance, which typically represents the upper bound of LLM reasoning capability. In this paper, we systematically analyze the policy's generation diversity from the perspective of training problems and find that augmenting and updating training problems helps mitigate entropy collapse during training. Based on these observations, we propose an online Self-play with Variational problem Synthesis (SvS) strategy for RLVR training, which uses the policy's correct solutions to synthesize variational problems while ensuring their reference answers remain identical to the originals. This self-improving strategy effectively maintains policy entropy during training and substantially improves Pass@k compared with standard RLVR, sustaining prolonged improvements and achieving absolute gains of 18.3% and 22.8% in Pass@32 performance on the competition-level AIME24 and AIME25 benchmarks. Experiments on 12 reasoning benchmarks across varying model sizes from 3B to 32B consistently demonstrate the generalizability and robustness of SvS.