VeriThinker: Aprendendo a Verificar Torna o Modelo de Raciocínio Eficiente

VeriThinker: Learning to Verify Makes Reasoning Model Efficient

May 23, 2025

Autores: Zigeng Chen, Xinyin Ma, Gongfan Fang, Ruonan Yu, Xinchao Wang

cs.AI

Resumo

Os Modelos de Raciocínio de Grande Escala (LRMs) se destacam em tarefas complexas utilizando o raciocínio em Cadeia de Pensamento (CoT). No entanto, sua tendência a "pensar demais" resulta em cadeias de raciocínio desnecessariamente longas, aumentando drasticamente os custos de inferência. Para mitigar esse problema, introduzimos o VeriThinker, uma abordagem inovadora para compressão de CoT. Diferente dos métodos convencionais que ajustam diretamente os LRMs na tarefa original de raciocínio usando dados sintéticos de CoT concisos, nós ajustamos o modelo de forma inovadora apenas através de uma tarefa auxiliar de verificação. Ao treinar os LRMs para verificar com precisão a correção das soluções de CoT, os LRMs se tornam intrinsecamente mais criteriosos sobre a necessidade de etapas subsequentes de autorreflexão, suprimindo efetivamente o excesso de pensamento. Experimentos extensivos validam que o VeriThinker reduz substancialmente o comprimento das cadeias de raciocínio enquanto mantém ou até mesmo melhora ligeiramente a precisão. Quando aplicado ao DeepSeek-R1-Distill-Qwen-7B, nossa abordagem reduz os tokens de raciocínio no MATH500 de 3790 para 2125, enquanto melhora a precisão em 0,8% (de 94,0% para 94,8%), e no AIME25, os tokens diminuem de 14321 para 10287 com um ganho de precisão de 2,1% (de 38,7% para 40,8%). Além disso, nossos experimentos demonstram que o VeriThinker também pode ser generalizado de forma zero-shot para raciocínio especulativo. O código está disponível em https://github.com/czg1225/VeriThinker.

English

Large Reasoning Models (LRMs) excel at complex tasks using Chain-of-Thought (CoT) reasoning. However, their tendency to overthinking leads to unnecessarily lengthy reasoning chains, dramatically increasing inference costs. To mitigate this issue, we introduce VeriThinker, a novel approach for CoT compression. Unlike conventional methods that fine-tune LRMs directly on the original reasoning task using synthetic concise CoT data, we innovatively fine-tune the model solely through an auxiliary verification task. By training LRMs to accurately verify the correctness of CoT solutions, the LRMs inherently become more discerning about the necessity of subsequent self-reflection steps, thereby effectively suppressing overthinking. Extensive experiments validate that VeriThinker substantially reduces reasoning chain lengths while maintaining or even slightly improving accuracy. When applied to DeepSeek-R1-Distill-Qwen-7B, our approach reduces reasoning tokens on MATH500 from 3790 to 2125 while improving accuracy by 0.8% (94.0% to 94.8%), and on AIME25, tokens decrease from 14321 to 10287 with a 2.1% accuracy gain (38.7% to 40.8%). Additionally, our experiments demonstrate that VeriThinker can also be zero-shot generalized to speculative reasoning. Code is available at https://github.com/czg1225/VeriThinker