THOUGHTTERMINATOR: Бенчмаркинг, калибровка и смягчение чрезмерного анализа в моделях рассуждений

THOUGHTTERMINATOR: Benchmarking, Calibrating, and Mitigating Overthinking in Reasoning Models

April 17, 2025

Авторы: Xiao Pu, Michael Saxon, Wenyue Hua, William Yang Wang

cs.AI

Аннотация

Модели рассуждений продемонстрировали впечатляющие результаты на сложных задачах, с которыми традиционные языковые модели справляются плохо. Однако многие из них страдают от проблемы избыточного мышления — генерации большого количества ненужных токенов, которые не повышают точность ответа на вопрос. Мы вводим приближенные меры сложности задач и показываем, что существует четкая взаимосвязь между сложностью задачи и оптимальным количеством токенов, а также оцениваем, насколько хорошо различные модели рассуждений калиброваны в плане эффективного распределения оптимального количества токенов. Мы обнаруживаем, что в целом модели рассуждений плохо калиброваны, особенно на простых задачах. Для оценки калибровки на простых вопросах мы представляем DUMB500 — набор данных, содержащий крайне простые задачи по математике, рассуждениям, программированию и другим областям, и совместно оцениваем модели рассуждений на этих простых примерах и крайне сложных примерах из существующих передовых бенчмарков в той же предметной области. Наконец, мы представляем THOUGHTTERMINATOR — метод декодирования без обучения, который значительно улучшает калибровку моделей рассуждений.

English

Reasoning models have demonstrated impressive performance on difficult tasks that traditional language models struggle at. However, many are plagued with the problem of overthinking--generating large amounts of unnecessary tokens which don't improve accuracy on a question. We introduce approximate measures of problem-level difficulty and demonstrate that a clear relationship between problem difficulty and optimal token spend exists, and evaluate how well calibrated a variety of reasoning models are in terms of efficiently allocating the optimal token count. We find that in general, reasoning models are poorly calibrated, particularly on easy problems. To evaluate calibration on easy questions we introduce DUMB500, a dataset of extremely easy math, reasoning, code, and task problems, and jointly evaluate reasoning model on these simple examples and extremely difficult examples from existing frontier benchmarks on the same task domain. Finally, we introduce THOUGHTTERMINATOR, a training-free black box decoding technique that significantly improves reasoning model calibration.