VeriThinker: Обучение проверке делает модели рассуждений эффективными

VeriThinker: Learning to Verify Makes Reasoning Model Efficient

May 23, 2025

Авторы: Zigeng Chen, Xinyin Ma, Gongfan Fang, Ruonan Yu, Xinchao Wang

cs.AI

Аннотация

Модели крупного масштаба для рассуждений (Large Reasoning Models, LRMs) демонстрируют выдающиеся результаты в решении сложных задач благодаря использованию цепочек рассуждений (Chain-of-Thought, CoT). Однако их склонность к чрезмерному анализу приводит к созданию излишне длинных цепочек рассуждений, что значительно увеличивает затраты на вывод. Для решения этой проблемы мы представляем VeriThinker — новый подход к сжатию CoT. В отличие от традиционных методов, которые напрямую дообучают LRMs на исходной задаче рассуждений с использованием синтетических данных сжатых CoT, мы инновационно дообучаем модель исключительно через вспомогательную задачу верификации. Обучая LRMs точно проверять корректность решений CoT, модели естественным образом становятся более избирательными в отношении необходимости последующих шагов самоанализа, что эффективно подавляет чрезмерное мышление. Многочисленные эксперименты подтверждают, что VeriThinker существенно сокращает длину цепочек рассуждений, сохраняя или даже слегка улучшая точность. При применении к модели DeepSeek-R1-Distill-Qwen-7B наш подход сокращает количество токенов рассуждений на наборе MATH500 с 3790 до 2125, одновременно повышая точность на 0,8% (с 94,0% до 94,8%), а на наборе AIME25 количество токенов уменьшается с 14321 до 10287 с увеличением точности на 2,1% (с 38,7% до 40,8%). Кроме того, наши эксперименты показывают, что VeriThinker также может быть обобщён для спекулятивных рассуждений в режиме zero-shot. Код доступен по адресу https://github.com/czg1225/VeriThinker.

English

Large Reasoning Models (LRMs) excel at complex tasks using Chain-of-Thought (CoT) reasoning. However, their tendency to overthinking leads to unnecessarily lengthy reasoning chains, dramatically increasing inference costs. To mitigate this issue, we introduce VeriThinker, a novel approach for CoT compression. Unlike conventional methods that fine-tune LRMs directly on the original reasoning task using synthetic concise CoT data, we innovatively fine-tune the model solely through an auxiliary verification task. By training LRMs to accurately verify the correctness of CoT solutions, the LRMs inherently become more discerning about the necessity of subsequent self-reflection steps, thereby effectively suppressing overthinking. Extensive experiments validate that VeriThinker substantially reduces reasoning chain lengths while maintaining or even slightly improving accuracy. When applied to DeepSeek-R1-Distill-Qwen-7B, our approach reduces reasoning tokens on MATH500 from 3790 to 2125 while improving accuracy by 0.8% (94.0% to 94.8%), and on AIME25, tokens decrease from 14321 to 10287 with a 2.1% accuracy gain (38.7% to 40.8%). Additionally, our experiments demonstrate that VeriThinker can also be zero-shot generalized to speculative reasoning. Code is available at https://github.com/czg1225/VeriThinker