Más allá de Pass@1: El autojuego con síntesis variacional de problemas sostiene RLVR

Resumen

El Aprendizaje por Refuerzo con Recompensas Verificables (RLVR, por sus siglas en inglés) ha surgido recientemente como un paradigma clave para el entrenamiento posterior de Modelos de Lenguaje a Gran Escala (LLMs), especialmente en tareas de razonamiento complejo. Sin embargo, se ha demostrado que el entrenamiento básico de RLVR mejora el rendimiento en Pass@1 a expensas de la entropía de la política, lo que reduce la diversidad en la generación y limita el rendimiento en Pass@k, que generalmente representa el límite superior de la capacidad de razonamiento de los LLMs. En este artículo, analizamos sistemáticamente la diversidad de generación de la política desde la perspectiva de los problemas de entrenamiento y encontramos que la ampliación y actualización de estos problemas ayuda a mitigar el colapso de la entropía durante el entrenamiento. Basándonos en estas observaciones, proponemos una estrategia de Autojuego en Línea con Síntesis Variacional de Problemas (SvS) para el entrenamiento de RLVR, que utiliza las soluciones correctas de la política para sintetizar problemas variacionales mientras se asegura que sus respuestas de referencia permanezcan idénticas a las originales. Esta estrategia de auto-mejora mantiene eficazmente la entropía de la política durante el entrenamiento y mejora sustancialmente Pass@k en comparación con RLVR estándar, sosteniendo mejoras prolongadas y logrando ganancias absolutas del 18.3% y 22.8% en el rendimiento de Pass@32 en los benchmarks de nivel competitivo AIME24 y AIME25. Los experimentos en 12 benchmarks de razonamiento, con tamaños de modelo que varían desde 3B hasta 32B, demuestran consistentemente la generalizabilidad y robustez de SvS.

English

Reinforcement Learning with Verifiable Rewards (RLVR) has recently emerged as a key paradigm for post-training Large Language Models (LLMs), particularly for complex reasoning tasks. However, vanilla RLVR training has been shown to improve Pass@1 performance at the expense of policy entropy, leading to reduced generation diversity and limiting the Pass@k performance, which typically represents the upper bound of LLM reasoning capability. In this paper, we systematically analyze the policy's generation diversity from the perspective of training problems and find that augmenting and updating training problems helps mitigate entropy collapse during training. Based on these observations, we propose an online Self-play with Variational problem Synthesis (SvS) strategy for RLVR training, which uses the policy's correct solutions to synthesize variational problems while ensuring their reference answers remain identical to the originals. This self-improving strategy effectively maintains policy entropy during training and substantially improves Pass@k compared with standard RLVR, sustaining prolonged improvements and achieving absolute gains of 18.3% and 22.8% in Pass@32 performance on the competition-level AIME24 and AIME25 benchmarks. Experiments on 12 reasoning benchmarks across varying model sizes from 3B to 32B consistently demonstrate the generalizability and robustness of SvS.

Más allá de Pass@1: El autojuego con síntesis variacional de problemas sostiene RLVR

Beyond Pass@1: Self-Play with Variational Problem Synthesis Sustains RLVR

Resumen

Support