THOUGHTTERMINATOR: Benchmarking, Calibrazione e Mitigazione del Sovrapensiero nei Modelli di Ragionamento

THOUGHTTERMINATOR: Benchmarking, Calibrating, and Mitigating Overthinking in Reasoning Models

April 17, 2025

Autori: Xiao Pu, Michael Saxon, Wenyue Hua, William Yang Wang

cs.AI

Abstract

I modelli di ragionamento hanno dimostrato prestazioni impressionanti in compiti complessi in cui i tradizionali modelli linguistici faticano. Tuttavia, molti sono afflitti dal problema del "sovrapensiero" - generando grandi quantità di token non necessari che non migliorano l'accuratezza nella risposta a una domanda. Introduciamo misure approssimate della difficoltà a livello di problema e dimostriamo che esiste una chiara relazione tra la difficoltà del problema e il numero ottimale di token da utilizzare, valutando quanto bene una varietà di modelli di ragionamento sia calibrata in termini di allocazione efficiente del conteggio ottimale di token. Troviamo che, in generale, i modelli di ragionamento sono scarsamente calibrati, specialmente su problemi facili. Per valutare la calibrazione su domande semplici, introduciamo DUMB500, un dataset di problemi estremamente facili di matematica, ragionamento, codice e compiti, e valutiamo congiuntamente i modelli di ragionamento su questi esempi semplici e su esempi estremamente difficili tratti da benchmark di frontiera esistenti nello stesso dominio di compito. Infine, introduciamo THOUGHTTERMINATOR, una tecnica di decodifica black box senza addestramento che migliora significativamente la calibrazione dei modelli di ragionamento.

English

Reasoning models have demonstrated impressive performance on difficult tasks that traditional language models struggle at. However, many are plagued with the problem of overthinking--generating large amounts of unnecessary tokens which don't improve accuracy on a question. We introduce approximate measures of problem-level difficulty and demonstrate that a clear relationship between problem difficulty and optimal token spend exists, and evaluate how well calibrated a variety of reasoning models are in terms of efficiently allocating the optimal token count. We find that in general, reasoning models are poorly calibrated, particularly on easy problems. To evaluate calibration on easy questions we introduce DUMB500, a dataset of extremely easy math, reasoning, code, and task problems, and jointly evaluate reasoning model on these simple examples and extremely difficult examples from existing frontier benchmarks on the same task domain. Finally, we introduce THOUGHTTERMINATOR, a training-free black box decoding technique that significantly improves reasoning model calibration.