VeriThinker: Lernen zu Verifizieren macht Reasoning-Modelle effizient

VeriThinker: Learning to Verify Makes Reasoning Model Efficient

May 23, 2025

Autoren: Zigeng Chen, Xinyin Ma, Gongfan Fang, Ruonan Yu, Xinchao Wang

cs.AI

Zusammenfassung

Große Reasoning-Modelle (LRMs) zeichnen sich durch ihre Fähigkeit aus, komplexe Aufgaben mithilfe von Chain-of-Thought (CoT)-Reasoning zu bewältigen. Allerdings führt ihre Neigung zum Überdenken zu unnötig langen Reasoning-Ketten, was die Inferenzkosten erheblich erhöht. Um dieses Problem zu mildern, stellen wir VeriThinker vor, einen neuartigen Ansatz zur CoT-Kompression. Im Gegensatz zu herkömmlichen Methoden, bei denen LRMs direkt auf der ursprünglichen Reasoning-Aufgabe mit synthetischen, prägnanten CoT-Daten feinabgestimmt werden, feinabstimmen wir das Modell innovativ ausschließlich durch eine zusätzliche Verifikationsaufgabe. Indem LRMs darauf trainiert werden, die Korrektheit von CoT-Lösungen präzise zu überprüfen, werden sie von Natur aus kritischer gegenüber der Notwendigkeit nachfolgender Selbstreflexionsschritte, wodurch Überdenken effektiv unterdrückt wird. Umfangreiche Experimente bestätigen, dass VeriThinker die Länge der Reasoning-Ketten erheblich reduziert, während die Genauigkeit beibehalten oder sogar leicht verbessert wird. Bei der Anwendung auf DeepSeek-R1-Distill-Qwen-7B reduziert unser Ansatz die Reasoning-Tokens auf MATH500 von 3790 auf 2125, während die Genauigkeit um 0,8 % (von 94,0 % auf 94,8 %) steigt, und auf AIME25 sinken die Tokens von 14321 auf 10287 bei einer Genauigkeitssteigerung von 2,1 % (von 38,7 % auf 40,8 %). Darüber hinaus zeigen unsere Experimente, dass VeriThinker auch zero-shot auf spekulatives Reasoning verallgemeinert werden kann. Der Code ist verfügbar unter https://github.com/czg1225/VeriThinker.

English

Large Reasoning Models (LRMs) excel at complex tasks using Chain-of-Thought (CoT) reasoning. However, their tendency to overthinking leads to unnecessarily lengthy reasoning chains, dramatically increasing inference costs. To mitigate this issue, we introduce VeriThinker, a novel approach for CoT compression. Unlike conventional methods that fine-tune LRMs directly on the original reasoning task using synthetic concise CoT data, we innovatively fine-tune the model solely through an auxiliary verification task. By training LRMs to accurately verify the correctness of CoT solutions, the LRMs inherently become more discerning about the necessity of subsequent self-reflection steps, thereby effectively suppressing overthinking. Extensive experiments validate that VeriThinker substantially reduces reasoning chain lengths while maintaining or even slightly improving accuracy. When applied to DeepSeek-R1-Distill-Qwen-7B, our approach reduces reasoning tokens on MATH500 from 3790 to 2125 while improving accuracy by 0.8% (94.0% to 94.8%), and on AIME25, tokens decrease from 14321 to 10287 with a 2.1% accuracy gain (38.7% to 40.8%). Additionally, our experiments demonstrate that VeriThinker can also be zero-shot generalized to speculative reasoning. Code is available at https://github.com/czg1225/VeriThinker