VeriThinker : Apprendre à vérifier rend les modèles de raisonnement efficaces

VeriThinker: Learning to Verify Makes Reasoning Model Efficient

May 23, 2025

Auteurs: Zigeng Chen, Xinyin Ma, Gongfan Fang, Ruonan Yu, Xinchao Wang

cs.AI

Résumé

Les modèles de raisonnement à grande échelle (Large Reasoning Models, LRMs) excellent dans les tâches complexes grâce au raisonnement en chaîne de pensée (Chain-of-Thought, CoT). Cependant, leur tendance à trop réfléchir entraîne des chaînes de raisonnement inutilement longues, augmentant considérablement les coûts d'inférence. Pour atténuer ce problème, nous introduisons VeriThinker, une nouvelle approche de compression du CoT. Contrairement aux méthodes conventionnelles qui affinent directement les LRMs sur la tâche de raisonnement originale en utilisant des données synthétiques de CoT concis, nous affinons de manière innovante le modèle uniquement à travers une tâche de vérification auxiliaire. En entraînant les LRMs à vérifier avec précision l'exactitude des solutions CoT, ces modèles deviennent intrinsèquement plus perspicaces quant à la nécessité des étapes de réflexion ultérieures, supprimant ainsi efficacement la tendance à trop réfléchir. Des expériences approfondies valident que VeriThinker réduit considérablement la longueur des chaînes de raisonnement tout en maintenant, voire en améliorant légèrement, la précision. Lorsqu'il est appliqué à DeepSeek-R1-Distill-Qwen-7B, notre approche réduit les tokens de raisonnement sur MATH500 de 3790 à 2125 tout en améliorant la précision de 0,8 % (de 94,0 % à 94,8 %), et sur AIME25, les tokens diminuent de 14321 à 10287 avec un gain de précision de 2,1 % (de 38,7 % à 40,8 %). De plus, nos expériences démontrent que VeriThinker peut également être généralisé de manière zero-shot au raisonnement spéculatif. Le code est disponible à l'adresse suivante : https://github.com/czg1225/VeriThinker.

English

Large Reasoning Models (LRMs) excel at complex tasks using Chain-of-Thought (CoT) reasoning. However, their tendency to overthinking leads to unnecessarily lengthy reasoning chains, dramatically increasing inference costs. To mitigate this issue, we introduce VeriThinker, a novel approach for CoT compression. Unlike conventional methods that fine-tune LRMs directly on the original reasoning task using synthetic concise CoT data, we innovatively fine-tune the model solely through an auxiliary verification task. By training LRMs to accurately verify the correctness of CoT solutions, the LRMs inherently become more discerning about the necessity of subsequent self-reflection steps, thereby effectively suppressing overthinking. Extensive experiments validate that VeriThinker substantially reduces reasoning chain lengths while maintaining or even slightly improving accuracy. When applied to DeepSeek-R1-Distill-Qwen-7B, our approach reduces reasoning tokens on MATH500 from 3790 to 2125 while improving accuracy by 0.8% (94.0% to 94.8%), and on AIME25, tokens decrease from 14321 to 10287 with a 2.1% accuracy gain (38.7% to 40.8%). Additionally, our experiments demonstrate that VeriThinker can also be zero-shot generalized to speculative reasoning. Code is available at https://github.com/czg1225/VeriThinker