VeriThinker: Imparare a Verificare Rende Efficiente il Modello di Ragionamento

VeriThinker: Learning to Verify Makes Reasoning Model Efficient

May 23, 2025

Autori: Zigeng Chen, Xinyin Ma, Gongfan Fang, Ruonan Yu, Xinchao Wang

cs.AI

Abstract

I Large Reasoning Models (LRM) eccellono in compiti complessi utilizzando il ragionamento a Catena di Pensiero (Chain-of-Thought, CoT). Tuttavia, la loro tendenza a sovrapensare porta a catene di ragionamento eccessivamente lunghe, aumentando drasticamente i costi di inferenza. Per mitigare questo problema, introduciamo VeriThinker, un approccio innovativo per la compressione del CoT. A differenza dei metodi convenzionali che ottimizzano direttamente gli LRM sul compito di ragionamento originale utilizzando dati sintetici di CoT concisi, noi ottimizziamo in modo innovativo il modello esclusivamente attraverso un compito di verifica ausiliario. Addestrando gli LRM a verificare accuratamente la correttezza delle soluzioni CoT, questi diventano intrinsecamente più selettivi riguardo alla necessità dei passaggi successivi di autoriflessione, sopprimendo così efficacemente il sovrapensiero. Esperimenti estensivi validano che VeriThinker riduce sostanzialmente la lunghezza delle catene di ragionamento mantenendo o addirittura migliorando leggermente l'accuratezza. Applicato a DeepSeek-R1-Distill-Qwen-7B, il nostro approccio riduce i token di ragionamento su MATH500 da 3790 a 2125, migliorando l'accuratezza dello 0,8% (dal 94,0% al 94,8%), mentre su AIME25 i token diminuiscono da 14321 a 10287 con un guadagno di accuratezza del 2,1% (dal 38,7% al 40,8%). Inoltre, i nostri esperimenti dimostrano che VeriThinker può essere generalizzato in modalità zero-shot anche al ragionamento speculativo. Il codice è disponibile all'indirizzo https://github.com/czg1225/VeriThinker.

English

Large Reasoning Models (LRMs) excel at complex tasks using Chain-of-Thought (CoT) reasoning. However, their tendency to overthinking leads to unnecessarily lengthy reasoning chains, dramatically increasing inference costs. To mitigate this issue, we introduce VeriThinker, a novel approach for CoT compression. Unlike conventional methods that fine-tune LRMs directly on the original reasoning task using synthetic concise CoT data, we innovatively fine-tune the model solely through an auxiliary verification task. By training LRMs to accurately verify the correctness of CoT solutions, the LRMs inherently become more discerning about the necessity of subsequent self-reflection steps, thereby effectively suppressing overthinking. Extensive experiments validate that VeriThinker substantially reduces reasoning chain lengths while maintaining or even slightly improving accuracy. When applied to DeepSeek-R1-Distill-Qwen-7B, our approach reduces reasoning tokens on MATH500 from 3790 to 2125 while improving accuracy by 0.8% (94.0% to 94.8%), and on AIME25, tokens decrease from 14321 to 10287 with a 2.1% accuracy gain (38.7% to 40.8%). Additionally, our experiments demonstrate that VeriThinker can also be zero-shot generalized to speculative reasoning. Code is available at https://github.com/czg1225/VeriThinker