TTRL: Aprendizado por Reforço em Tempo de Teste

TTRL: Test-Time Reinforcement Learning

April 22, 2025

Autores: Yuxin Zuo, Kaiyan Zhang, Shang Qu, Li Sheng, Xuekai Zhu, Biqing Qi, Youbang Sun, Ganqu Cui, Ning Ding, Bowen Zhou

cs.AI

Resumo

Este artigo investiga o Aprendizado por Reforço (RL) em dados sem rótulos explícitos para tarefas de raciocínio em Modelos de Linguagem de Grande Escala (LLMs). O principal desafio do problema é a estimativa de recompensa durante a inferência, sem acesso a informações de verdade absoluta. Embora esse cenário pareça evasivo, descobrimos que práticas comuns em Escalonamento em Tempo de Teste (TTS), como votação majoritária, produzem recompensas surpreendentemente eficazes, adequadas para impulsionar o treinamento de RL. Neste trabalho, introduzimos o Aprendizado por Reforço em Tempo de Teste (TTRL), um método inovador para treinar LLMs usando RL em dados não rotulados. O TTRL permite a auto-evolução dos LLMs ao utilizar os conhecimentos prévios dos modelos pré-treinados. Nossos experimentos demonstram que o TTRL melhora consistentemente o desempenho em uma variedade de tarefas e modelos. Notavelmente, o TTRL aumenta o desempenho pass@1 do Qwen-2.5-Math-7B em aproximadamente 159% no AIME 2024, utilizando apenas dados de teste não rotulados. Além disso, embora o TTRL seja supervisionado apenas pela métrica Maj@N, ele demonstrou um desempenho que consistentemente ultrapassa o limite superior do modelo inicial e se aproxima do desempenho de modelos treinados diretamente em dados de teste com rótulos de verdade absoluta. Nossas descobertas experimentais validam a eficácia geral do TTRL em várias tarefas e destacam o potencial do TTRL para tarefas e domínios mais amplos. GitHub: https://github.com/PRIME-RL/TTRL

English

This paper investigates Reinforcement Learning (RL) on data without explicit labels for reasoning tasks in Large Language Models (LLMs). The core challenge of the problem is reward estimation during inference while not having access to ground-truth information. While this setting appears elusive, we find that common practices in Test-Time Scaling (TTS), such as majority voting, yield surprisingly effective rewards suitable for driving RL training. In this work, we introduce Test-Time Reinforcement Learning (TTRL), a novel method for training LLMs using RL on unlabeled data. TTRL enables self-evolution of LLMs by utilizing the priors in the pre-trained models. Our experiments demonstrate that TTRL consistently improves performance across a variety of tasks and models. Notably, TTRL boosts the pass@1 performance of Qwen-2.5-Math-7B by approximately 159% on the AIME 2024 with only unlabeled test data. Furthermore, although TTRL is only supervised by the Maj@N metric, TTRL has demonstrated performance to consistently surpass the upper limit of the initial model, and approach the performance of models trained directly on test data with ground-truth labels. Our experimental findings validate the general effectiveness of TTRL across various tasks, and highlight TTRL's potential for broader tasks and domains. GitHub: https://github.com/PRIME-RL/TTRL