TTRL: Apprendimento per Rinforzo al Momento del Test

TTRL: Test-Time Reinforcement Learning

April 22, 2025

Autori: Yuxin Zuo, Kaiyan Zhang, Shang Qu, Li Sheng, Xuekai Zhu, Biqing Qi, Youbang Sun, Ganqu Cui, Ning Ding, Bowen Zhou

cs.AI

Abstract

Questo articolo indaga l'apprendimento per rinforzo (Reinforcement Learning, RL) su dati senza etichette esplicite per compiti di ragionamento nei modelli linguistici di grandi dimensioni (Large Language Models, LLMs). La sfida principale del problema è la stima della ricompensa durante l'inferenza senza avere accesso a informazioni di verità assoluta. Sebbene questo contesto possa sembrare elusivo, scopriamo che pratiche comuni nel ridimensionamento al momento del test (Test-Time Scaling, TTS), come il voto a maggioranza, producono ricompense sorprendentemente efficaci adatte a guidare l'addestramento RL. In questo lavoro, introduciamo l'apprendimento per rinforzo al momento del test (Test-Time Reinforcement Learning, TTRL), un metodo innovativo per addestrare LLMs utilizzando RL su dati non etichettati. TTRL consente l'auto-evoluzione degli LLMs sfruttando i priori nei modelli pre-addestrati. I nostri esperimenti dimostrano che TTRL migliora costantemente le prestazioni in una varietà di compiti e modelli. In particolare, TTRL aumenta le prestazioni pass@1 di Qwen-2.5-Math-7B di circa il 159% sull'AIME 2024 utilizzando solo dati di test non etichettati. Inoltre, sebbene TTRL sia supervisionato solo dalla metrica Maj@N, ha dimostrato prestazioni che superano costantemente il limite superiore del modello iniziale e si avvicinano alle prestazioni di modelli addestrati direttamente su dati di test con etichette di verità assoluta. I nostri risultati sperimentali convalidano l'efficacia generale di TTRL in vari compiti e evidenziano il potenziale di TTRL per compiti e domini più ampi. GitHub: https://github.com/PRIME-RL/TTRL

English

This paper investigates Reinforcement Learning (RL) on data without explicit labels for reasoning tasks in Large Language Models (LLMs). The core challenge of the problem is reward estimation during inference while not having access to ground-truth information. While this setting appears elusive, we find that common practices in Test-Time Scaling (TTS), such as majority voting, yield surprisingly effective rewards suitable for driving RL training. In this work, we introduce Test-Time Reinforcement Learning (TTRL), a novel method for training LLMs using RL on unlabeled data. TTRL enables self-evolution of LLMs by utilizing the priors in the pre-trained models. Our experiments demonstrate that TTRL consistently improves performance across a variety of tasks and models. Notably, TTRL boosts the pass@1 performance of Qwen-2.5-Math-7B by approximately 159% on the AIME 2024 with only unlabeled test data. Furthermore, although TTRL is only supervised by the Maj@N metric, TTRL has demonstrated performance to consistently surpass the upper limit of the initial model, and approach the performance of models trained directly on test data with ground-truth labels. Our experimental findings validate the general effectiveness of TTRL across various tasks, and highlight TTRL's potential for broader tasks and domains. GitHub: https://github.com/PRIME-RL/TTRL