THOUGHTTERMINATOR: Evaluación, Calibración y Mitigación del Pensamiento Excesivo en Modelos de Razonamiento

THOUGHTTERMINATOR: Benchmarking, Calibrating, and Mitigating Overthinking in Reasoning Models

April 17, 2025

Autores: Xiao Pu, Michael Saxon, Wenyue Hua, William Yang Wang

cs.AI

Resumen

Los modelos de razonamiento han demostrado un rendimiento impresionante en tareas difíciles en las que los modelos de lenguaje tradicionales tienen dificultades. Sin embargo, muchos de ellos se ven afectados por el problema de sobrepensar, generando grandes cantidades de tokens innecesarios que no mejoran la precisión en una pregunta. Introducimos medidas aproximadas de la dificultad a nivel de problema y demostramos que existe una relación clara entre la dificultad del problema y el gasto óptimo de tokens, evaluando qué tan bien calibrados están una variedad de modelos de razonamiento en términos de asignar eficientemente el conteo óptimo de tokens. Encontramos que, en general, los modelos de razonamiento están mal calibrados, particularmente en problemas fáciles. Para evaluar la calibración en preguntas fáciles, introducimos DUMB500, un conjunto de datos de problemas extremadamente sencillos de matemáticas, razonamiento, código y tareas, y evaluamos conjuntamente los modelos de razonamiento en estos ejemplos simples y en ejemplos extremadamente difíciles de benchmarks de vanguardia existentes en el mismo dominio de tareas. Finalmente, presentamos THOUGHTTERMINATOR, una técnica de decodificación de caja negra sin entrenamiento que mejora significativamente la calibración de los modelos de razonamiento.

English

Reasoning models have demonstrated impressive performance on difficult tasks that traditional language models struggle at. However, many are plagued with the problem of overthinking--generating large amounts of unnecessary tokens which don't improve accuracy on a question. We introduce approximate measures of problem-level difficulty and demonstrate that a clear relationship between problem difficulty and optimal token spend exists, and evaluate how well calibrated a variety of reasoning models are in terms of efficiently allocating the optimal token count. We find that in general, reasoning models are poorly calibrated, particularly on easy problems. To evaluate calibration on easy questions we introduce DUMB500, a dataset of extremely easy math, reasoning, code, and task problems, and jointly evaluate reasoning model on these simple examples and extremely difficult examples from existing frontier benchmarks on the same task domain. Finally, we introduce THOUGHTTERMINATOR, a training-free black box decoding technique that significantly improves reasoning model calibration.