Denken Sie NICHT so viel über 2+3 nach? Über das Überdenken von o1-ähnlichen LLMs

Do NOT Think That Much for 2+3=? On the Overthinking of o1-Like LLMs

December 30, 2024

Autoren: Xingyu Chen, Jiahao Xu, Tian Liang, Zhiwei He, Jianhui Pang, Dian Yu, Linfeng Song, Qiuzhi Liu, Mengfei Zhou, Zhuosheng Zhang, Rui Wang, Zhaopeng Tu, Haitao Mi, Dong Yu

cs.AI

Zusammenfassung

Die bemerkenswerte Leistung von Modellen wie dem OpenAI o1 kann auf ihre Fähigkeit zurückgeführt werden, menschenähnliches Langzeitdenken während der Inferenz zu emulieren. Diese Modelle verwenden erweiterte Denkprozesse (Chain-of-Thought, CoT), um mehrere Strategien zu erkunden und die Problemlösungsfähigkeiten zu verbessern. Eine entscheidende Frage bleibt jedoch offen: Wie lassen sich die Rechenressourcen während der Tests intelligent und effizient skalieren? Dieser Artikel präsentiert die erste umfassende Studie zum weit verbreiteten Problem des Überdenkens in diesen Modellen, bei dem übermäßige Rechenressourcen für einfache Probleme mit minimalem Nutzen allokiert werden. Wir führen neue Effizienzmetriken aus Ergebnis- und Prozessperspektiven ein, um den rationalen Einsatz von Rechenressourcen durch o1-ähnliche Modelle zu bewerten. Unter Verwendung eines Selbsttrainingsparadigmas schlagen wir Strategien vor, um das Überdenken zu reduzieren, die Denkprozesse zu optimieren, ohne die Genauigkeit zu beeinträchtigen. Experimentelle Ergebnisse zeigen, dass unser Ansatz den Rechenaufwand erfolgreich reduziert, während die Modellleistung über eine Reihe von Testsets mit unterschiedlichen Schwierigkeitsgraden wie GSM8K, MATH500, GPQA und AIME erhalten bleibt.

English

The remarkable performance of models like the OpenAI o1 can be attributed to their ability to emulate human-like long-time thinking during inference. These models employ extended chain-of-thought (CoT) processes, exploring multiple strategies to enhance problem-solving capabilities. However, a critical question remains: How to intelligently and efficiently scale computational resources during testing. This paper presents the first comprehensive study on the prevalent issue of overthinking in these models, where excessive computational resources are allocated for simple problems with minimal benefit. We introduce novel efficiency metrics from both outcome and process perspectives to evaluate the rational use of computational resources by o1-like models. Using a self-training paradigm, we propose strategies to mitigate overthinking, streamlining reasoning processes without compromising accuracy. Experimental results show that our approach successfully reduces computational overhead while preserving model performance across a range of testsets with varying difficulty levels, such as GSM8K, MATH500, GPQA, and AIME.