TraPO: un framework di apprendimento per rinforzo semi-supervisionato per potenziare il ragionamento degli LLM
TraPO: A Semi-Supervised Reinforcement Learning Framework for Boosting LLM Reasoning
December 15, 2025
Autori: Shenzhi Yang, Guangcheng Zhu, Xing Zheng, Yingfan MA, Zhongqi Chen, Bowen Song, Weiqiang Wang, Junbo Zhao, Gang Chen, Haobo Wang
cs.AI
Abstract
L'apprendimento per rinforzo con ricompense verificabili (RLVR) si è dimostrato efficace nell'addestrare grandi modelli di ragionamento (LRM) sfruttando segnali verificabili basati sulle risposte per guidare l'ottimizzazione della politica. Tuttavia, questo approccio soffre di elevati costi di annotazione. Per alleviare questo problema, recenti lavori hanno esplorato metodi RLVR non supervisionati che ricavano le ricompense esclusivamente dalla coerenza interna del modello, ad esempio attraverso l'entropia e il voto a maggioranza. Sebbene apparentemente promettenti, questi metodi sono spesso soggetti a collasso del modello nelle fasi avanzate dell'addestramento, problema che può sorgere dal rafforzamento di pattern di ragionamento errati in assenza di supervisione esterna. In questo lavoro, investigiamo un nuovo paradigma RLVR semi-supervisionato che utilizza un piccolo insieme di dati etichettati per guidare l'addestramento RLVR su campioni non etichettati. La nostra intuizione chiave è che le ricompense supervisionate sono essenziali per stabilizzare l'addestramento basato sulla coerenza sui campioni non etichettati, garantendo che solo i pattern di ragionamento verificati su istanze etichettate vengano incorporati nell'apprendimento per rinforzo. Tecnicamente, proponiamo un algoritmo efficace di ottimizzazione della politica, TraPO, che identifica campioni non etichettati affidabili confrontando la similarità della loro traiettoria di apprendimento con quella dei campioni etichettati. Sulla base di ciò, TraPO raggiunge una notevole efficienza dei dati e una forte generalizzazione su sei benchmark di ragionamento matematico ampiamente utilizzati (AIME24/25, AMC, MATH-500, Minerva e Olympiad) e su tre task fuori distribuzione (ARC-c, GPQA-diamond e MMLU-pro). Con soli 1.000 campioni etichettati e 3.000 non etichettati, TraPO raggiunge una precisione media del 42,6%, superando il miglior metodo non supervisionato addestrato su 45.000 campioni non etichettati (38,3%). Notevolmente, utilizzando 4.000 campioni etichettati e 12.000 non etichettati, TraPO supera persino il modello completamente supervisionato addestrato sull'intero set di 45.000 campioni etichettati su tutti i benchmark, utilizzando solo il 10% dei dati etichettati. Il codice è disponibile all'indirizzo https://github.com/ShenzhiYang2000/TRAPO.
English
Reinforcement learning with verifiable rewards (RLVR) has proven effective in training large reasoning models (LRMs) by leveraging answer-verifiable signals to guide policy optimization, which, however, suffers from high annotation costs. To alleviate this problem, recent work has explored unsupervised RLVR methods that derive rewards solely from the model's internal consistency, such as through entropy and majority voting. While seemingly promising, these methods often suffer from model collapse in the later stages of training, which may arise from the reinforcement of incorrect reasoning patterns in the absence of external supervision. In this work, we investigate a novel semi-supervised RLVR paradigm that utilizes a small labeled set to guide RLVR training on unlabeled samples. Our key insight is that supervised rewards are essential for stabilizing consistency-based training on unlabeled samples, ensuring that only reasoning patterns verified on labeled instances are incorporated into RL training. Technically, we propose an effective policy optimization algorithm, TraPO, that identifies reliable unlabeled samples by matching their learning trajectory similarity to labeled ones. Building on this, TraPO achieves remarkable data efficiency and strong generalization on six widely used mathematical reasoning benchmarks (AIME24/25, AMC, MATH-500, Minerva, and Olympiad) and three out-of-distribution tasks (ARC-c, GPQA-diamond, and MMLU-pro). With only 1K labeled and 3K unlabeled samples, TraPO reaches 42.6% average accuracy, surpassing the best unsupervised method trained on 45K unlabeled samples (38.3%). Notably, when using 4K labeled and 12K unlabeled samples, TraPO even outperforms the fully supervised model trained on the full 45K labeled samples on all benchmarks, while using only 10% of the labeled data. The code is available via https://github.com/ShenzhiYang2000/TRAPO.