TTRL: Обучение с подкреплением во время тестирования

TTRL: Test-Time Reinforcement Learning

April 22, 2025

Авторы: Yuxin Zuo, Kaiyan Zhang, Shang Qu, Li Sheng, Xuekai Zhu, Biqing Qi, Youbang Sun, Ganqu Cui, Ning Ding, Bowen Zhou

cs.AI

Аннотация

В данной статье исследуется применение обучения с подкреплением (Reinforcement Learning, RL) на данных без явных меток для задач логического вывода в больших языковых моделях (Large Language Models, LLMs). Основная проблема заключается в оценке вознаграждения на этапе вывода при отсутствии доступа к эталонной информации. Хотя такая постановка задачи кажется сложной, мы обнаруживаем, что стандартные практики масштабирования на этапе тестирования (Test-Time Scaling, TTS), такие как мажоритарное голосование, позволяют получить удивительно эффективные вознаграждения, пригодные для обучения RL. В этой работе мы представляем Test-Time Reinforcement Learning (TTRL) — новый метод обучения LLMs с использованием RL на немаркированных данных. TTRL позволяет моделям саморазвиваться, используя априорные знания, заложенные в предобученных моделях. Наши эксперименты показывают, что TTRL стабильно улучшает производительность в различных задачах и моделях. В частности, TTRL повышает показатель pass@1 модели Qwen-2.5-Math-7B примерно на 159% на данных AIME 2024, используя только немаркированные тестовые данные. Более того, хотя TTRL контролируется только метрикой Maj@N, он демонстрирует производительность, которая стабильно превышает верхний предел исходной модели и приближается к результатам моделей, обученных непосредственно на тестовых данных с эталонными метками. Наши экспериментальные результаты подтверждают общую эффективность TTRL в различных задачах и подчеркивают его потенциал для более широкого круга задач и областей. GitHub: https://github.com/PRIME-RL/TTRL

English

This paper investigates Reinforcement Learning (RL) on data without explicit labels for reasoning tasks in Large Language Models (LLMs). The core challenge of the problem is reward estimation during inference while not having access to ground-truth information. While this setting appears elusive, we find that common practices in Test-Time Scaling (TTS), such as majority voting, yield surprisingly effective rewards suitable for driving RL training. In this work, we introduce Test-Time Reinforcement Learning (TTRL), a novel method for training LLMs using RL on unlabeled data. TTRL enables self-evolution of LLMs by utilizing the priors in the pre-trained models. Our experiments demonstrate that TTRL consistently improves performance across a variety of tasks and models. Notably, TTRL boosts the pass@1 performance of Qwen-2.5-Math-7B by approximately 159% on the AIME 2024 with only unlabeled test data. Furthermore, although TTRL is only supervised by the Maj@N metric, TTRL has demonstrated performance to consistently surpass the upper limit of the initial model, and approach the performance of models trained directly on test data with ground-truth labels. Our experimental findings validate the general effectiveness of TTRL across various tasks, and highlight TTRL's potential for broader tasks and domains. GitHub: https://github.com/PRIME-RL/TTRL