VeriThinker: 検証を学習することで推論モデルを効率化する

VeriThinker: Learning to Verify Makes Reasoning Model Efficient

May 23, 2025

著者: Zigeng Chen, Xinyin Ma, Gongfan Fang, Ruonan Yu, Xinchao Wang

cs.AI

要旨

大規模推論モデル（LRM）は、Chain-of-Thought（CoT）推論を用いて複雑なタスクに優れた性能を発揮します。しかし、過剰に思考を重ねる傾向があるため、不必要に長い推論チェーンが生成され、推論コストが大幅に増加してしまいます。この問題を緩和するため、我々はCoT圧縮のための新しいアプローチであるVeriThinkerを提案します。従来の方法では、合成された簡潔なCoTデータを用いて元の推論タスクに対してLRMを直接ファインチューニングしていましたが、我々は補助的な検証タスクのみを通じてモデルを革新的にファインチューニングします。LRMにCoTソリューションの正しさを正確に検証するように訓練させることで、LRMは自己反省ステップの必要性についてより識別力を持つようになり、過剰思考を効果的に抑制します。大規模な実験により、VeriThinkerが推論チェーンの長さを大幅に短縮しながら、精度を維持またはわずかに向上させることが検証されました。DeepSeek-R1-Distill-Qwen-7Bに適用した場合、MATH500では推論トークンが3790から2125に減少し、精度が0.8％（94.0％から94.8％）向上し、AIME25ではトークンが14321から10287に減少し、精度が2.1％（38.7％から40.8％）向上しました。さらに、我々の実験では、VeriThinkerが推測的推論にもゼロショットで一般化できることが示されています。コードはhttps://github.com/czg1225/VeriThinkerで公開されています。

English

Large Reasoning Models (LRMs) excel at complex tasks using Chain-of-Thought (CoT) reasoning. However, their tendency to overthinking leads to unnecessarily lengthy reasoning chains, dramatically increasing inference costs. To mitigate this issue, we introduce VeriThinker, a novel approach for CoT compression. Unlike conventional methods that fine-tune LRMs directly on the original reasoning task using synthetic concise CoT data, we innovatively fine-tune the model solely through an auxiliary verification task. By training LRMs to accurately verify the correctness of CoT solutions, the LRMs inherently become more discerning about the necessity of subsequent self-reflection steps, thereby effectively suppressing overthinking. Extensive experiments validate that VeriThinker substantially reduces reasoning chain lengths while maintaining or even slightly improving accuracy. When applied to DeepSeek-R1-Distill-Qwen-7B, our approach reduces reasoning tokens on MATH500 from 3790 to 2125 while improving accuracy by 0.8% (94.0% to 94.8%), and on AIME25, tokens decrease from 14321 to 10287 with a 2.1% accuracy gain (38.7% to 40.8%). Additionally, our experiments demonstrate that VeriThinker can also be zero-shot generalized to speculative reasoning. Code is available at https://github.com/czg1225/VeriThinker