THOUGHTTERMINATOR: Avaliação, Calibração e Mitigação do Pensamento Excessivo em Modelos de Raciocínio

THOUGHTTERMINATOR: Benchmarking, Calibrating, and Mitigating Overthinking in Reasoning Models

April 17, 2025

Autores: Xiao Pu, Michael Saxon, Wenyue Hua, William Yang Wang

cs.AI

Resumo

Modelos de raciocínio têm demonstrado desempenho impressionante em tarefas difíceis nas quais os modelos de linguagem tradicionais lutam. No entanto, muitos são afetados pelo problema de "overthinking" - gerando grandes quantidades de tokens desnecessários que não melhoram a precisão em uma questão. Introduzimos medidas aproximadas de dificuldade no nível do problema e demonstramos que existe uma relação clara entre a dificuldade do problema e o gasto ideal de tokens, além de avaliar quão bem calibrados estão uma variedade de modelos de raciocínio em termos de alocação eficiente do número ideal de tokens. Descobrimos que, em geral, os modelos de raciocínio estão mal calibrados, especialmente em problemas fáceis. Para avaliar a calibração em questões fáceis, introduzimos o DUMB500, um conjunto de dados de problemas extremamente simples de matemática, raciocínio, código e tarefas, e avaliamos conjuntamente os modelos de raciocínio nesses exemplos simples e em exemplos extremamente difíceis de benchmarks de fronteira existentes no mesmo domínio de tarefa. Por fim, introduzimos o THOUGHTTERMINATOR, uma técnica de decodificação de caixa preta sem treinamento que melhora significativamente a calibração dos modelos de raciocínio.

English

Reasoning models have demonstrated impressive performance on difficult tasks that traditional language models struggle at. However, many are plagued with the problem of overthinking--generating large amounts of unnecessary tokens which don't improve accuracy on a question. We introduce approximate measures of problem-level difficulty and demonstrate that a clear relationship between problem difficulty and optimal token spend exists, and evaluate how well calibrated a variety of reasoning models are in terms of efficiently allocating the optimal token count. We find that in general, reasoning models are poorly calibrated, particularly on easy problems. To evaluate calibration on easy questions we introduce DUMB500, a dataset of extremely easy math, reasoning, code, and task problems, and jointly evaluate reasoning model on these simple examples and extremely difficult examples from existing frontier benchmarks on the same task domain. Finally, we introduce THOUGHTTERMINATOR, a training-free black box decoding technique that significantly improves reasoning model calibration.