De illusie van denken: De sterke en zwakke punten van redeneermodellen begrijpen door de lens van probleemcomplexiteit

The Illusion of Thinking: Understanding the Strengths and Limitations of Reasoning Models via the Lens of Problem Complexity

June 7, 2025

Auteurs: Parshin Shojaee, Iman Mirzadeh, Keivan Alizadeh, Maxwell Horton, Samy Bengio, Mehrdad Farajtabar

cs.AI

Samenvatting

Recente generaties taalmodelen hebben Large Reasoning Models (LRM's) geïntroduceerd die gedetailleerde denkprocessen genereren voordat ze antwoorden geven. Hoewel deze modellen verbeterde prestaties laten zien op redeneerbenchmarks, blijven hun fundamentele capaciteiten, schaaleigenschappen en beperkingen onvoldoende begrepen. Huidige evaluaties richten zich voornamelijk op gevestigde wiskunde- en programmeerbenchmarks, waarbij de nadruk ligt op de nauwkeurigheid van het eindantwoord. Dit evaluatieparadigma lijdt echter vaak aan contaminatie en biedt geen inzicht in de redeneersporen. In dit werk onderzoeken we deze hiaten systematisch met behulp van controleerbare puzzelomgevingen die nauwkeurige manipulatie van complexiteit mogelijk maken terwijl consistente logische structuren behouden blijven. Deze opzet maakt het mogelijk om niet alleen eindantwoorden te analyseren, maar ook de interne redeneersporen, wat inzicht biedt in hoe LRM's denken. Door middel van uitgebreide experimenten tonen we aan dat LRM's een volledige nauwkeurigheidsinstorting ondervinden voorbij bepaalde complexiteiten. Bovendien vertonen ze een contra-intuïtieve schaalbeperking: hun redeneerinspanning neemt toe met de probleemcomplexiteit tot een bepaald punt, waarna deze afneemt ondanks het resterende tokenbudget. Door LRM's te vergelijken met hun standaard LLM-tegenhangers onder dezelfde rekenkracht voor inferentie, identificeren we drie prestatieregimes: (1) taken met lage complexiteit waarbij standaardmodellen beter presteren dan LRM's, (2) taken met gemiddelde complexiteit waarbij LRM's een voordeel laten zien, en (3) taken met hoge complexiteit waarbij beide modellen een volledige instorting ondervinden. We ontdekten dat LRM's beperkingen hebben in exacte berekeningen: ze slagen er niet in expliciete algoritmen te gebruiken en redeneren inconsistent over verschillende schalen. We onderzoeken ook de redeneersporen in meer detail, bestuderen de patronen van verkende oplossingen en analyseren het rekenkundige gedrag van de modellen, wat inzicht biedt in hun sterke punten, beperkingen en vragen oproept over hun redeneercapaciteiten.

English

Recent generations of language models have introduced Large Reasoning Models (LRMs) that generate detailed thinking processes before providing answers. While these models demonstrate improved performance on reasoning benchmarks, their fundamental capabilities, scaling properties, and limitations remain insufficiently understood. Current evaluations primarily focus on established math and coding benchmarks, emphasizing final answer accuracy. However, this evaluation paradigm often suffers from contamination and does not provide insights into the reasoning traces. In this work, we systematically investigate these gaps with the help of controllable puzzle environments that allow precise manipulation of complexity while maintaining consistent logical structures. This setup enables the analysis of not only final answers but also the internal reasoning traces, offering insights into how LRMs think. Through extensive experiments, we show that LRMs face a complete accuracy collapse beyond certain complexities. Moreover, they exhibit a counterintuitive scaling limit: their reasoning effort increases with problem complexity up to a point, then declines despite having remaining token budget. By comparing LRMs with their standard LLM counterparts under same inference compute, we identify three performance regimes: (1) low-complexity tasks where standard models outperform LRMs, (2) medium-complexity tasks where LRMs demonstrates advantage, and (3) high-complexity tasks where both models face complete collapse. We found that LRMs have limitations in exact computation: they fail to use explicit algorithms and reason inconsistently across scales. We also investigate the reasoning traces in more depth, studying the patterns of explored solutions and analyzing the models' computational behavior, shedding light on their strengths, limitations, and raising questions about their reasoning capabilities.