Denk niet te veel na. Voorkeur voor kortere denkketens voor verbeterd redeneren van grote taalmmodellen.

Don't Overthink it. Preferring Shorter Thinking Chains for Improved LLM Reasoning

May 23, 2025

Auteurs: Michael Hassid, Gabriel Synnaeve, Yossi Adi, Roy Schwartz

cs.AI

Samenvatting

Redenerende grote taalmodellen (LLMs) zijn sterk afhankelijk van het opschalen van rekentijd tijdens het testen om complexe redeneertaken uit te voeren door uitgebreide "denk"ketens te genereren. Hoewel deze aanpak indrukwekkende resultaten laat zien, brengt het aanzienlijke rekenkosten en inferentietijd met zich mee. In dit werk dagen we de aanname uit dat lange denkketens leiden tot betere redeneervaardigheden. We tonen eerst aan dat kortere redeneerketens binnen individuele vragen aanzienlijk vaker tot correcte antwoorden leiden – tot wel 34,5% nauwkeuriger dan de langste keten die voor dezelfde vraag is bemonsterd. Op basis van deze resultaten stellen we short-m@k voor, een nieuwe inferentiemethode voor redenerende LLMs. Onze methode voert k onafhankelijke generaties parallel uit en stopt de berekening zodra de eerste m denkprocessen zijn voltooid. Het uiteindelijke antwoord wordt gekozen door middel van meerderheidsstemming onder deze m ketens. De basisversie short-1@k vertoont vergelijkbare of zelfs superieure prestaties ten opzichte van standaard meerderheidsstemming in situaties met beperkte rekenkracht – waarbij tot 40% minder denktokens worden gebruikt. short-3@k, hoewel iets minder efficiënt dan short-1@k, overtreft consistent meerderheidsstemming over alle rekenbudgetten heen, terwijl het nog steeds aanzienlijk sneller is (tot 33% minder wandtijd). Geïnspireerd door onze resultaten finetunen we een LLM met behulp van korte, lange en willekeurig geselecteerde redeneerketens. We observeren vervolgens dat training op de kortere ketens tot betere prestaties leidt. Onze bevindingen suggereren een herziening van de huidige methoden voor rekentijd tijdens het testen in redenerende LLMs, waarbij wordt benadrukt dat langer "denken" niet noodzakelijkerwijs tot verbeterde prestaties leidt en, tegen intuïtie in, zelfs tot verslechterde resultaten kan leiden.

English

Reasoning large language models (LLMs) heavily rely on scaling test-time compute to perform complex reasoning tasks by generating extensive "thinking" chains. While demonstrating impressive results, this approach incurs significant computational costs and inference time. In this work, we challenge the assumption that long thinking chains results in better reasoning capabilities. We first demonstrate that shorter reasoning chains within individual questions are significantly more likely to yield correct answers - up to 34.5% more accurate than the longest chain sampled for the same question. Based on these results, we suggest short-m@k, a novel reasoning LLM inference method. Our method executes k independent generations in parallel and halts computation once the first m thinking processes are done. The final answer is chosen using majority voting among these m chains. Basic short-1@k demonstrates similar or even superior performance over standard majority voting in low-compute settings - using up to 40% fewer thinking tokens. short-3@k, while slightly less efficient than short-1@k, consistently surpasses majority voting across all compute budgets, while still being substantially faster (up to 33% wall time reduction). Inspired by our results, we finetune an LLM using short, long, and randomly selected reasoning chains. We then observe that training on the shorter ones leads to better performance. Our findings suggest rethinking current methods of test-time compute in reasoning LLMs, emphasizing that longer "thinking" does not necessarily translate to improved performance and can, counter-intuitively, lead to degraded results.