Не думайте слишком много о 2+3=? Об излишнем анализе o1-подобных LLM-моделей.

Do NOT Think That Much for 2+3=? On the Overthinking of o1-Like LLMs

December 30, 2024

Авторы: Xingyu Chen, Jiahao Xu, Tian Liang, Zhiwei He, Jianhui Pang, Dian Yu, Linfeng Song, Qiuzhi Liu, Mengfei Zhou, Zhuosheng Zhang, Rui Wang, Zhaopeng Tu, Haitao Mi, Dong Yu

cs.AI

Аннотация

Замечательная производительность моделей, таких как OpenAI o1, можно объяснить их способностью эмулировать человекоподобное мышление на длительные сроки во время вывода. Эти модели используют расширенные процессы цепочки мыслей (CoT), исследуя несколько стратегий для улучшения способностей к решению проблем. Однако остается критический вопрос: как интеллектуально и эффективно масштабировать вычислительные ресурсы во время тестирования. В данной статье представлено первое всестороннее исследование распространенной проблемы излишнего мышления в этих моделях, когда избыточные вычислительные ресурсы выделяются на простые задачи с минимальной пользой. Мы представляем новые метрики эффективности с точки зрения как результата, так и процесса, чтобы оценить рациональное использование вычислительных ресурсов моделями подобными o1. Используя парадигму самообучения, мы предлагаем стратегии для смягчения излишнего мышления, оптимизируя процессы рассуждения без ущерба точности. Экспериментальные результаты показывают, что наш подход успешно снижает вычислительные издержки, сохраняя производительность модели на различных наборах тестов с разными уровнями сложности, таких как GSM8K, MATH500, GPQA и AIME.

English

The remarkable performance of models like the OpenAI o1 can be attributed to their ability to emulate human-like long-time thinking during inference. These models employ extended chain-of-thought (CoT) processes, exploring multiple strategies to enhance problem-solving capabilities. However, a critical question remains: How to intelligently and efficiently scale computational resources during testing. This paper presents the first comprehensive study on the prevalent issue of overthinking in these models, where excessive computational resources are allocated for simple problems with minimal benefit. We introduce novel efficiency metrics from both outcome and process perspectives to evaluate the rational use of computational resources by o1-like models. Using a self-training paradigm, we propose strategies to mitigate overthinking, streamlining reasoning processes without compromising accuracy. Experimental results show that our approach successfully reduces computational overhead while preserving model performance across a range of testsets with varying difficulty levels, such as GSM8K, MATH500, GPQA, and AIME.