VeriThinker: 검증 학습을 통한 추론 모델 효율화

VeriThinker: Learning to Verify Makes Reasoning Model Efficient

May 23, 2025

저자: Zigeng Chen, Xinyin Ma, Gongfan Fang, Ruonan Yu, Xinchao Wang

cs.AI

초록

대규모 추론 모델(LRMs)은 사고의 연쇄(Chain-of-Thought, CoT) 추론을 통해 복잡한 작업에서 뛰어난 성능을 발휘합니다. 그러나 이러한 모델들은 지나치게 깊이 생각하는 경향이 있어 불필요하게 긴 추론 과정을 생성하며, 이는 추론 비용을 크게 증가시킵니다. 이러한 문제를 해결하기 위해, 우리는 CoT 압축을 위한 새로운 접근법인 VeriThinker를 소개합니다. 기존의 방법들이 합성된 간결한 CoT 데이터를 사용하여 원래의 추론 작업에 대해 LRMs를 직접 미세 조정하는 것과 달리, 우리는 보조 검증 작업을 통해 모델을 혁신적으로 미세 조정합니다. LRMs가 CoT 해결책의 정확성을 정확히 검증하도록 훈련함으로써, LRMs는 본질적으로 후속 자기 반성 단계의 필요성에 대해 더욱 분별력 있게 되며, 이를 통해 지나친 사고를 효과적으로 억제합니다. 광범위한 실험을 통해 VeriThinker가 추론 과정의 길이를 상당히 줄이면서도 정확도를 유지하거나 약간 향상시킴을 검증했습니다. DeepSeek-R1-Distill-Qwen-7B에 적용했을 때, 우리의 접근법은 MATH500에서 추론 토큰을 3790에서 2125로 줄이면서 정확도를 0.8% (94.0%에서 94.8%로) 향상시켰으며, AIME25에서는 토큰이 14321에서 10287로 감소하면서 정확도가 2.1% (38.7%에서 40.8%로) 증가했습니다. 또한, 우리의 실험은 VeriThinker가 추측적 추론에도 제로샷 일반화될 수 있음을 보여줍니다. 코드는 https://github.com/czg1225/VeriThinker에서 확인할 수 있습니다.

English

Large Reasoning Models (LRMs) excel at complex tasks using Chain-of-Thought (CoT) reasoning. However, their tendency to overthinking leads to unnecessarily lengthy reasoning chains, dramatically increasing inference costs. To mitigate this issue, we introduce VeriThinker, a novel approach for CoT compression. Unlike conventional methods that fine-tune LRMs directly on the original reasoning task using synthetic concise CoT data, we innovatively fine-tune the model solely through an auxiliary verification task. By training LRMs to accurately verify the correctness of CoT solutions, the LRMs inherently become more discerning about the necessity of subsequent self-reflection steps, thereby effectively suppressing overthinking. Extensive experiments validate that VeriThinker substantially reduces reasoning chain lengths while maintaining or even slightly improving accuracy. When applied to DeepSeek-R1-Distill-Qwen-7B, our approach reduces reasoning tokens on MATH500 from 3790 to 2125 while improving accuracy by 0.8% (94.0% to 94.8%), and on AIME25, tokens decrease from 14321 to 10287 with a 2.1% accuracy gain (38.7% to 40.8%). Additionally, our experiments demonstrate that VeriThinker can also be zero-shot generalized to speculative reasoning. Code is available at https://github.com/czg1225/VeriThinker