VeriThinker: Leren verifiëren maakt redeneermodellen efficiënt
VeriThinker: Learning to Verify Makes Reasoning Model Efficient
May 23, 2025
Auteurs: Zigeng Chen, Xinyin Ma, Gongfan Fang, Ruonan Yu, Xinchao Wang
cs.AI
Samenvatting
Grote Redeneermodellen (LRMs) blinken uit in complexe taken door gebruik te maken van Chain-of-Thought (CoT) redenering. Hun neiging tot overdenken leidt echter tot onnodig lange redeneerketens, wat de inferentiekosten aanzienlijk verhoogt. Om dit probleem te verlichten, introduceren we VeriThinker, een nieuwe aanpak voor CoT-compressie. In tegenstelling tot conventionele methoden die LRMs direct finetunen op de oorspronkelijke redeneertaak met behulp van synthetische, beknopte CoT-gegevens, finetunen wij het model innovatief uitsluitend via een aanvullende verificatietaak. Door LRMs te trainen om de correctheid van CoT-oplossingen nauwkeurig te verifiëren, worden de LRMs van nature kritischer over de noodzaak van vervolgstappen in zelfreflectie, waardoor overdenken effectief wordt onderdrukt. Uitgebreide experimenten valideren dat VeriThinker de lengte van redeneerketens aanzienlijk reduceert, terwijl de nauwkeurigheid behouden blijft of zelfs licht verbetert. Wanneer toegepast op DeepSeek-R1-Distill-Qwen-7B, reduceert onze aanpak het aantal redeneertokens op MATH500 van 3790 naar 2125, terwijl de nauwkeurigheid met 0,8% stijgt (van 94,0% naar 94,8%), en op AIME25 nemen de tokens af van 14321 naar 10287 met een nauwkeurigheidsverbetering van 2,1% (van 38,7% naar 40,8%). Daarnaast tonen onze experimenten aan dat VeriThinker ook zero-shot kan worden gegeneraliseerd naar speculatieve redenering. De code is beschikbaar op https://github.com/czg1225/VeriThinker.
English
Large Reasoning Models (LRMs) excel at complex tasks using Chain-of-Thought
(CoT) reasoning. However, their tendency to overthinking leads to unnecessarily
lengthy reasoning chains, dramatically increasing inference costs. To mitigate
this issue, we introduce VeriThinker, a novel approach for CoT compression.
Unlike conventional methods that fine-tune LRMs directly on the original
reasoning task using synthetic concise CoT data, we innovatively fine-tune the
model solely through an auxiliary verification task. By training LRMs to
accurately verify the correctness of CoT solutions, the LRMs inherently become
more discerning about the necessity of subsequent self-reflection steps,
thereby effectively suppressing overthinking. Extensive experiments validate
that VeriThinker substantially reduces reasoning chain lengths while
maintaining or even slightly improving accuracy. When applied to
DeepSeek-R1-Distill-Qwen-7B, our approach reduces reasoning tokens on MATH500
from 3790 to 2125 while improving accuracy by 0.8% (94.0% to 94.8%), and on
AIME25, tokens decrease from 14321 to 10287 with a 2.1% accuracy gain (38.7% to
40.8%). Additionally, our experiments demonstrate that VeriThinker can also be
zero-shot generalized to speculative reasoning. Code is available at
https://github.com/czg1225/VeriThinker