VeriThinker: Aprender a Verificar Hace Eficiente el Modelo de Razonamiento

VeriThinker: Learning to Verify Makes Reasoning Model Efficient

May 23, 2025

Autores: Zigeng Chen, Xinyin Ma, Gongfan Fang, Ruonan Yu, Xinchao Wang

cs.AI

Resumen

Los Modelos de Razonamiento a Gran Escala (LRMs, por sus siglas en inglés) destacan en tareas complejas utilizando el razonamiento en Cadena de Pensamiento (CoT). Sin embargo, su tendencia a sobrepensar conduce a cadenas de razonamiento innecesariamente largas, lo que aumenta drásticamente los costos de inferencia. Para mitigar este problema, presentamos VeriThinker, un enfoque novedoso para la compresión de CoT. A diferencia de los métodos convencionales que ajustan directamente los LRMs en la tarea de razonamiento original utilizando datos sintéticos de CoT concisos, innovamos al ajustar el modelo únicamente a través de una tarea de verificación auxiliar. Al entrenar a los LRMs para verificar con precisión la corrección de las soluciones de CoT, estos modelos se vuelven inherentemente más selectivos sobre la necesidad de pasos posteriores de autorreflexión, suprimiendo así efectivamente el sobrepensar. Experimentos extensos validan que VeriThinker reduce sustancialmente las longitudes de las cadenas de razonamiento mientras mantiene o incluso mejora ligeramente la precisión. Cuando se aplica a DeepSeek-R1-Distill-Qwen-7B, nuestro enfoque reduce los tokens de razonamiento en MATH500 de 3790 a 2125 mientras mejora la precisión en un 0.8% (de 94.0% a 94.8%), y en AIME25, los tokens disminuyen de 14321 a 10287 con una ganancia de precisión del 2.1% (de 38.7% a 40.8%). Además, nuestros experimentos demuestran que VeriThinker también puede generalizarse de manera zero-shot al razonamiento especulativo. El código está disponible en https://github.com/czg1225/VeriThinker.

English

Large Reasoning Models (LRMs) excel at complex tasks using Chain-of-Thought (CoT) reasoning. However, their tendency to overthinking leads to unnecessarily lengthy reasoning chains, dramatically increasing inference costs. To mitigate this issue, we introduce VeriThinker, a novel approach for CoT compression. Unlike conventional methods that fine-tune LRMs directly on the original reasoning task using synthetic concise CoT data, we innovatively fine-tune the model solely through an auxiliary verification task. By training LRMs to accurately verify the correctness of CoT solutions, the LRMs inherently become more discerning about the necessity of subsequent self-reflection steps, thereby effectively suppressing overthinking. Extensive experiments validate that VeriThinker substantially reduces reasoning chain lengths while maintaining or even slightly improving accuracy. When applied to DeepSeek-R1-Distill-Qwen-7B, our approach reduces reasoning tokens on MATH500 from 3790 to 2125 while improving accuracy by 0.8% (94.0% to 94.8%), and on AIME25, tokens decrease from 14321 to 10287 with a 2.1% accuracy gain (38.7% to 40.8%). Additionally, our experiments demonstrate that VeriThinker can also be zero-shot generalized to speculative reasoning. Code is available at https://github.com/czg1225/VeriThinker