TraPO: Een semi-gesuperviseerd reinforcement learning-raamwerk voor het verbeteren van LLM-redeneervaardigheid

TraPO: A Semi-Supervised Reinforcement Learning Framework for Boosting LLM Reasoning

December 15, 2025

Auteurs: Shenzhi Yang, Guangcheng Zhu, Xing Zheng, Yingfan MA, Zhongqi Chen, Bowen Song, Weiqiang Wang, Junbo Zhao, Gang Chen, Haobo Wang

cs.AI

Samenvatting

Versterkend leren met verifieerbare beloningen (RLVR) heeft zijn effectiviteit bewezen bij het trainen van grote redeneermodellen (LRM's) door gebruik te maken van antwoord-verifieerbare signalen om beleidsoptimalisatie te sturen. Deze methode kampt echter met hoge annotatiekosten. Om dit probleem te verlichten, heeft recent onderzoek onbewaakte RLVR-methoden verkend die beloningen uitsluitend afleiden uit de interne consistentie van het model, bijvoorbeeld via entropie en meerderheidsstemming. Hoewel deze methoden veelbelovend lijken, leiden ze vaak tot modelinstorting in de latere trainingsfasen, wat kan ontstaan door de versterking van incorrecte redeneerpatronen bij afwezigheid van externe supervisie. In dit werk onderzoeken we een nieuw semi-gesuperviseerd RLVR-paradigma dat een kleine gelabelde set gebruikt om RLVR-training op ongelabelde samples te sturen. Onze belangrijkste inzicht is dat gesuperviseerde beloningen essentieel zijn voor het stabiliseren van op consistentie gebaseerde training op ongelabelde samples, zodat alleen redeneerpatronen die zijn geverifieerd op gelabelde instanties worden opgenomen in de RL-training. Technisch gezien stellen we een effectief beleidsoptimalisatie-algoritme voor, TraPO, dat betrouwbare ongelabelde samples identificeert door de gelijkenis van hun leerpad te matchen met dat van gelabelde samples. Hierop voortbouwend bereikt TraPO opmerkelijke data-efficiëntie en sterke generalisatie op zes veelgebruikte wiskundige redeneerbenchmarks (AIME24/25, AMC, MATH-500, Minerva en Olympiad) en drie out-of-distribution-taken (ARC-c, GPQA-diamond en MMLU-pro). Met slechts 1K gelabelde en 3K ongelabelde samples bereikt TraPO een gemiddelde nauwkeurigheid van 42,6%, waarmee het de beste onbewaakte methode, getraind op 45K ongelabelde samples (38,3%), overtreft. Opmerkelijk is dat bij gebruik van 4K gelabelde en 12K ongelabelde samples TraPO zelfs het volledig gesuperviseerde model, getraind op de volledige set van 45K gelabelde samples, op alle benchmarks overtreft, terwijl het slechts 10% van de gelabelde data gebruikt. De code is beschikbaar via https://github.com/ShenzhiYang2000/TRAPO.

English

Reinforcement learning with verifiable rewards (RLVR) has proven effective in training large reasoning models (LRMs) by leveraging answer-verifiable signals to guide policy optimization, which, however, suffers from high annotation costs. To alleviate this problem, recent work has explored unsupervised RLVR methods that derive rewards solely from the model's internal consistency, such as through entropy and majority voting. While seemingly promising, these methods often suffer from model collapse in the later stages of training, which may arise from the reinforcement of incorrect reasoning patterns in the absence of external supervision. In this work, we investigate a novel semi-supervised RLVR paradigm that utilizes a small labeled set to guide RLVR training on unlabeled samples. Our key insight is that supervised rewards are essential for stabilizing consistency-based training on unlabeled samples, ensuring that only reasoning patterns verified on labeled instances are incorporated into RL training. Technically, we propose an effective policy optimization algorithm, TraPO, that identifies reliable unlabeled samples by matching their learning trajectory similarity to labeled ones. Building on this, TraPO achieves remarkable data efficiency and strong generalization on six widely used mathematical reasoning benchmarks (AIME24/25, AMC, MATH-500, Minerva, and Olympiad) and three out-of-distribution tasks (ARC-c, GPQA-diamond, and MMLU-pro). With only 1K labeled and 3K unlabeled samples, TraPO reaches 42.6% average accuracy, surpassing the best unsupervised method trained on 45K unlabeled samples (38.3%). Notably, when using 4K labeled and 12K unlabeled samples, TraPO even outperforms the fully supervised model trained on the full 45K labeled samples on all benchmarks, while using only 10% of the labeled data. The code is available via https://github.com/ShenzhiYang2000/TRAPO.