Denk NIET te veel na over 2+3=? Over het overmatig nadenken van o1-achtige LLM's.

Do NOT Think That Much for 2+3=? On the Overthinking of o1-Like LLMs

December 30, 2024

Auteurs: Xingyu Chen, Jiahao Xu, Tian Liang, Zhiwei He, Jianhui Pang, Dian Yu, Linfeng Song, Qiuzhi Liu, Mengfei Zhou, Zhuosheng Zhang, Rui Wang, Zhaopeng Tu, Haitao Mi, Dong Yu

cs.AI

Samenvatting

De opmerkelijke prestaties van modellen zoals de OpenAI o1 kunnen worden toegeschreven aan hun vermogen om mensachtig langdurig denken na te bootsen tijdens inferentie. Deze modellen maken gebruik van uitgebreide ketens-van-denkprocessen (CoT), waarbij meerdere strategieën worden verkend om de probleemoplossende capaciteiten te verbeteren. Een cruciale vraag blijft echter: Hoe kunnen computationele middelen tijdens testen intelligent en efficiënt worden geschaald. Dit artikel presenteert de eerste uitgebreide studie over het veelvoorkomende probleem van overmatig nadenken in deze modellen, waarbij overmatige computationele middelen worden toegewezen voor eenvoudige problemen met minimale voordelen. We introduceren nieuwe efficiëntiemetingen van zowel uitkomst- als procesperspectieven om het rationele gebruik van computationele middelen door o1-achtige modellen te evalueren. Met behulp van een zelf-trainingsparadigma stellen we strategieën voor om overmatig nadenken te verminderen, waarbij redeneerprocessen worden gestroomlijnd zonder de nauwkeurigheid in gevaar te brengen. Experimentele resultaten tonen aan dat onze aanpak met succes de computationele overhead vermindert, terwijl de modelprestaties behouden blijven over een reeks testsets met variërende moeilijkheidsgraden, zoals GSM8K, MATH500, GPQA en AIME.

English

The remarkable performance of models like the OpenAI o1 can be attributed to their ability to emulate human-like long-time thinking during inference. These models employ extended chain-of-thought (CoT) processes, exploring multiple strategies to enhance problem-solving capabilities. However, a critical question remains: How to intelligently and efficiently scale computational resources during testing. This paper presents the first comprehensive study on the prevalent issue of overthinking in these models, where excessive computational resources are allocated for simple problems with minimal benefit. We introduce novel efficiency metrics from both outcome and process perspectives to evaluate the rational use of computational resources by o1-like models. Using a self-training paradigm, we propose strategies to mitigate overthinking, streamlining reasoning processes without compromising accuracy. Experimental results show that our approach successfully reduces computational overhead while preserving model performance across a range of testsets with varying difficulty levels, such as GSM8K, MATH500, GPQA, and AIME.