TraPO : Un cadre d'apprentissage par renforcement semi-supervisé pour améliorer le raisonnement des LLM
TraPO: A Semi-Supervised Reinforcement Learning Framework for Boosting LLM Reasoning
December 15, 2025
papers.authors: Shenzhi Yang, Guangcheng Zhu, Xing Zheng, Yingfan MA, Zhongqi Chen, Bowen Song, Weiqiang Wang, Junbo Zhao, Gang Chen, Haobo Wang
cs.AI
papers.abstract
L'apprentissage par renforcement avec récompenses vérifiables (RLVR) s'est avéré efficace pour entraîner les grands modèles de raisonnement (LRM) en exploitant des signaux vérifiables par réponse pour guider l'optimisation des politiques, une approche qui souffre cependant de coûts d'annotation élevés. Pour atténuer ce problème, des travaux récents ont exploré des méthodes RLVR non supervisées qui dérivent les récompenses uniquement de la cohérence interne du modèle, par exemple via l'entropie ou le vote majoritaire. Bien que semblant prometteuses, ces méthodes sont souvent sujettes à un effondrement du modèle (model collapse) lors des phases avancées de l'entraînement, probablement dû au renforcement de schémas de raisonnement incorrects en l'absence de supervision externe. Dans ce travail, nous étudions un nouveau paradigme RLVR semi-supervisé qui utilise un petit ensemble étiqueté pour guider l'entraînement RLVR sur des échantillons non étiquetés. Notre idée clé est que les récompenses supervisées sont essentielles pour stabiliser l'entraînement basé sur la cohérence pour les échantillons non étiquetés, garantissant que seuls les schémas de raisonnement vérifiés sur des instances étiquetées sont incorporés dans l'apprentissage par renforcement. Sur le plan technique, nous proposons un algorithme efficace d'optimisation de politique, TraPO, qui identifie les échantillons non étiquetés fiables en faisant correspondre la similarité de leur trajectoire d'apprentissage avec celle des échantillons étiquetés. Sur cette base, TraPO atteint une remarquable efficacité des données et une forte généralisation sur six benchmarks de raisonnement mathématique largement utilisés (AIME24/25, AMC, MATH-500, Minerva et Olympiad) et trois tâches hors distribution (ARC-c, GPQA-diamond et MMLU-pro). Avec seulement 1 000 échantillons étiquetés et 3 000 non étiquetés, TraPO atteint une précision moyenne de 42,6 %, surpassant la meilleure méthode non supervisée entraînée sur 45 000 échantillons non étiquetés (38,3 %). Particulièrement notable, avec 4 000 échantillons étiquetés et 12 000 non étiquetés, TraPO surpasse même le modèle entièrement supervisé entraîné sur l'ensemble complet de 45 000 échantillons étiquetés sur tous les benchmarks, tout en n'utilisant que 10 % des données étiquetées. Le code est disponible à l'adresse https://github.com/ShenzhiYang2000/TRAPO.
English
Reinforcement learning with verifiable rewards (RLVR) has proven effective in training large reasoning models (LRMs) by leveraging answer-verifiable signals to guide policy optimization, which, however, suffers from high annotation costs. To alleviate this problem, recent work has explored unsupervised RLVR methods that derive rewards solely from the model's internal consistency, such as through entropy and majority voting. While seemingly promising, these methods often suffer from model collapse in the later stages of training, which may arise from the reinforcement of incorrect reasoning patterns in the absence of external supervision. In this work, we investigate a novel semi-supervised RLVR paradigm that utilizes a small labeled set to guide RLVR training on unlabeled samples. Our key insight is that supervised rewards are essential for stabilizing consistency-based training on unlabeled samples, ensuring that only reasoning patterns verified on labeled instances are incorporated into RL training. Technically, we propose an effective policy optimization algorithm, TraPO, that identifies reliable unlabeled samples by matching their learning trajectory similarity to labeled ones. Building on this, TraPO achieves remarkable data efficiency and strong generalization on six widely used mathematical reasoning benchmarks (AIME24/25, AMC, MATH-500, Minerva, and Olympiad) and three out-of-distribution tasks (ARC-c, GPQA-diamond, and MMLU-pro). With only 1K labeled and 3K unlabeled samples, TraPO reaches 42.6% average accuracy, surpassing the best unsupervised method trained on 45K unlabeled samples (38.3%). Notably, when using 4K labeled and 12K unlabeled samples, TraPO even outperforms the fully supervised model trained on the full 45K labeled samples on all benchmarks, while using only 10% of the labeled data. The code is available via https://github.com/ShenzhiYang2000/TRAPO.