TraPO: Un Marco de Aprendizaje por Refuerzo Semi-Supervisado para Potenciar el Razonamiento de los LLM
TraPO: A Semi-Supervised Reinforcement Learning Framework for Boosting LLM Reasoning
December 15, 2025
Autores: Shenzhi Yang, Guangcheng Zhu, Xing Zheng, Yingfan MA, Zhongqi Chen, Bowen Song, Weiqiang Wang, Junbo Zhao, Gang Chen, Haobo Wang
cs.AI
Resumen
El aprendizaje por refuerzo con recompensas verificables (RLVR) ha demostrado ser efectivo para entrenar modelos de razonamiento a gran escala (LRM) al aprovechar señales verificables de respuestas para guiar la optimización de políticas, lo cual, sin embargo, conlleva altos costos de anotación. Para mitigar este problema, trabajos recientes han explorado métodos no supervisados de RLVR que obtienen recompensas únicamente de la consistencia interna del modelo, como mediante entropía y votación por mayoría. Aunque aparentemente prometedores, estos métodos suelen sufrir colapso del modelo en etapas avanzadas del entrenamiento, lo cual puede surgir del refuerzo de patrones de razonamiento incorrectos en ausencia de supervisión externa. En este trabajo, investigamos un nuevo paradigma de RLVR semi-supervisado que utiliza un pequeño conjunto etiquetado para guiar el entrenamiento de RLVR en muestras no etiquetadas. Nuestra idea clave es que las recompensas supervisadas son esenciales para estabilizar el entrenamiento basado en consistencia en muestras no etiquetadas, asegurando que solo los patrones de razonamiento verificados en instancias etiquetadas se incorporen al aprendizaje por refuerzo. Técnicamente, proponemos un algoritmo efectivo de optimización de políticas, TraPO, que identifica muestras no etiquetadas confiables mediante la comparación de la similitud de su trayectoria de aprendizaje con las etiquetadas. Basándonos en esto, TraPO logra una notable eficiencia de datos y una fuerte generalización en seis benchmarks de razonamiento matemático ampliamente utilizados (AIME24/25, AMC, MATH-500, Minerva y Olimpiada) y tres tareas fuera de distribución (ARC-c, GPQA-diamond y MMLU-pro). Con solo 1K muestras etiquetadas y 3K no etiquetadas, TraPO alcanza un 42.6% de precisión promedio, superando al mejor método no supervisado entrenado con 45K muestras no etiquetadas (38.3%). Notablemente, al utilizar 4K muestras etiquetadas y 12K no etiquetadas, TraPO incluso supera al modelo totalmente supervisado entrenado con las 45K muestras etiquetadas completas en todos los benchmarks, utilizando solo el 10% de los datos etiquetados. El código está disponible en https://github.com/ShenzhiYang2000/TRAPO.
English
Reinforcement learning with verifiable rewards (RLVR) has proven effective in training large reasoning models (LRMs) by leveraging answer-verifiable signals to guide policy optimization, which, however, suffers from high annotation costs. To alleviate this problem, recent work has explored unsupervised RLVR methods that derive rewards solely from the model's internal consistency, such as through entropy and majority voting. While seemingly promising, these methods often suffer from model collapse in the later stages of training, which may arise from the reinforcement of incorrect reasoning patterns in the absence of external supervision. In this work, we investigate a novel semi-supervised RLVR paradigm that utilizes a small labeled set to guide RLVR training on unlabeled samples. Our key insight is that supervised rewards are essential for stabilizing consistency-based training on unlabeled samples, ensuring that only reasoning patterns verified on labeled instances are incorporated into RL training. Technically, we propose an effective policy optimization algorithm, TraPO, that identifies reliable unlabeled samples by matching their learning trajectory similarity to labeled ones. Building on this, TraPO achieves remarkable data efficiency and strong generalization on six widely used mathematical reasoning benchmarks (AIME24/25, AMC, MATH-500, Minerva, and Olympiad) and three out-of-distribution tasks (ARC-c, GPQA-diamond, and MMLU-pro). With only 1K labeled and 3K unlabeled samples, TraPO reaches 42.6% average accuracy, surpassing the best unsupervised method trained on 45K unlabeled samples (38.3%). Notably, when using 4K labeled and 12K unlabeled samples, TraPO even outperforms the fully supervised model trained on the full 45K labeled samples on all benchmarks, while using only 10% of the labeled data. The code is available via https://github.com/ShenzhiYang2000/TRAPO.