Nutzung der Reasoning-Ökonomie: Ein Überblick über effizientes Reasoning für große Sprachmodelle

Harnessing the Reasoning Economy: A Survey of Efficient Reasoning for Large Language Models

March 31, 2025

Autoren: Rui Wang, Hongru Wang, Boyang Xue, Jianhui Pang, Shudong Liu, Yi Chen, Jiahao Qiu, Derek Fai Wong, Heng Ji, Kam-Fai Wong

cs.AI

Zusammenfassung

Jüngste Fortschritte bei Large Language Models (LLMs) haben ihre Fähigkeit zur Bewältigung komplexer Denkaufgaben erheblich verbessert, wobei sie sich von schnellem und intuitivem Denken (System 1) zu langsamem und tiefgründigem Denken (System 2) weiterentwickelt haben. Während das System-2-Denken die Genauigkeit bei Aufgaben verbessert, verursacht es aufgrund seiner langsamen Denkweise und ineffizienter oder unnötiger Denkprozesse oft erhebliche Rechenkosten. Im Gegensatz dazu ist das System-1-Denken recheneffizient, führt jedoch zu suboptimalen Ergebnissen. Folglich ist es entscheidend, den Kompromiss zwischen Leistung (Nutzen) und Rechenkosten (Budget) auszubalancieren, was das Konzept der Denkökonomie hervorgebracht hat. In dieser Übersichtsarbeit bieten wir eine umfassende Analyse der Denkökonomie sowohl in der Post-Training- als auch in der Testzeit-Inferenzphase von LLMs, einschließlich i) der Ursachen für Denkineffizienz, ii) der Verhaltensanalyse verschiedener Denkmuster und iii) potenzieller Lösungen zur Erreichung einer Denkökonomie. Durch die Bereitstellung umsetzbarer Erkenntnisse und die Hervorhebung offener Herausforderungen möchten wir Strategien zur Verbesserung der Denkökonomie von LLMs beleuchten und damit als wertvolle Ressource für die Weiterentwicklung der Forschung in diesem sich entwickelnden Bereich dienen. Wir stellen auch ein öffentliches Repository zur Verfügung, um die Entwicklungen in diesem schnelllebigen Feld kontinuierlich zu verfolgen.

English

Recent advancements in Large Language Models (LLMs) have significantly enhanced their ability to perform complex reasoning tasks, transitioning from fast and intuitive thinking (System 1) to slow and deep reasoning (System 2). While System 2 reasoning improves task accuracy, it often incurs substantial computational costs due to its slow thinking nature and inefficient or unnecessary reasoning behaviors. In contrast, System 1 reasoning is computationally efficient but leads to suboptimal performance. Consequently, it is critical to balance the trade-off between performance (benefits) and computational costs (budgets), giving rise to the concept of reasoning economy. In this survey, we provide a comprehensive analysis of reasoning economy in both the post-training and test-time inference stages of LLMs, encompassing i) the cause of reasoning inefficiency, ii) behavior analysis of different reasoning patterns, and iii) potential solutions to achieve reasoning economy. By offering actionable insights and highlighting open challenges, we aim to shed light on strategies for improving the reasoning economy of LLMs, thereby serving as a valuable resource for advancing research in this evolving area. We also provide a public repository to continually track developments in this fast-evolving field.