TraPO: Полуавтоматический фреймворк обучения с подкреплением для повышения эффективности рассуждений больших языковых моделей

TraPO: A Semi-Supervised Reinforcement Learning Framework for Boosting LLM Reasoning

December 15, 2025

Авторы: Shenzhi Yang, Guangcheng Zhu, Xing Zheng, Yingfan MA, Zhongqi Chen, Bowen Song, Weiqiang Wang, Junbo Zhao, Gang Chen, Haobo Wang

cs.AI

Аннотация

Подкрепляемое обучение с верифицируемыми вознаграждениями (RLVR) доказало свою эффективность при обучении больших моделей рассуждений (LRM) за счет использования верифицируемых сигналов ответов для оптимизации политики, однако этот подход страдает от высоких затрат на разметку данных. Чтобы смягчить эту проблему, в последних работах исследуются неконтролируемые методы RLVR, которые извлекают вознаграждения исключительно из внутренней согласованности модели, например, через энтропию и мажоритарное голосование. Хотя эти методы кажутся перспективными, они часто сталкиваются с коллапсом модели на поздних стадиях обучения, что может быть вызвано закреплением ошибочных паттернов рассуждений при отсутствии внешнего контроля. В данной работе мы исследуем новую полуконтролируемую парадигму RLVR, которая использует небольшой размеченный набор данных для направления RLVR-обучения на немеченых примерах. Наше ключевое наблюдение заключается в том, что контролируемые вознаграждения необходимы для стабилизации обучения на основе согласованности на немеченых выборках, гарантируя, что в обучение с подкреплением включаются только паттерны рассуждений, верифицированные на размеченных примерах. Технически мы предлагаем эффективный алгоритм оптимизации политики TraPO, который идентифицирует надежные немеченые выборки путем сопоставления схожести их траекторий обучения с траекториями размеченных выборок. На этой основе TraPO демонстрирует выдающуюся эффективность использования данных и сильную обобщающую способность на шести широко используемых бенчмарках математических рассуждений (AIME24/25, AMC, MATH-500, Minerva и Olympiad) и трех задачах на обобщение вне распределения (ARC-c, GPQA-diamond и MMLU-pro). Всего с 1 тыс. размеченных и 3 тыс. немеченых примеров TraPO достигает средней точности 42,6%, превосходя лучший неконтролируемый метод, обученный на 45 тыс. немеченых примеров (38,3%). Примечательно, что при использовании 4 тыс. размеченных и 12 тыс. немеченых примеров TraPO превосходит полностью контролируемую модель, обученную на всех 45 тыс. размеченных примеров, на всех бенчмарках, используя лишь 10% размеченных данных. Код доступен по адресу https://github.com/ShenzhiYang2000/TRAPO.

English

Reinforcement learning with verifiable rewards (RLVR) has proven effective in training large reasoning models (LRMs) by leveraging answer-verifiable signals to guide policy optimization, which, however, suffers from high annotation costs. To alleviate this problem, recent work has explored unsupervised RLVR methods that derive rewards solely from the model's internal consistency, such as through entropy and majority voting. While seemingly promising, these methods often suffer from model collapse in the later stages of training, which may arise from the reinforcement of incorrect reasoning patterns in the absence of external supervision. In this work, we investigate a novel semi-supervised RLVR paradigm that utilizes a small labeled set to guide RLVR training on unlabeled samples. Our key insight is that supervised rewards are essential for stabilizing consistency-based training on unlabeled samples, ensuring that only reasoning patterns verified on labeled instances are incorporated into RL training. Technically, we propose an effective policy optimization algorithm, TraPO, that identifies reliable unlabeled samples by matching their learning trajectory similarity to labeled ones. Building on this, TraPO achieves remarkable data efficiency and strong generalization on six widely used mathematical reasoning benchmarks (AIME24/25, AMC, MATH-500, Minerva, and Olympiad) and three out-of-distribution tasks (ARC-c, GPQA-diamond, and MMLU-pro). With only 1K labeled and 3K unlabeled samples, TraPO reaches 42.6% average accuracy, surpassing the best unsupervised method trained on 45K unlabeled samples (38.3%). Notably, when using 4K labeled and 12K unlabeled samples, TraPO even outperforms the fully supervised model trained on the full 45K labeled samples on all benchmarks, while using only 10% of the labeled data. The code is available via https://github.com/ShenzhiYang2000/TRAPO.