Fokussierte Gedankenketten: Effizientes LLM-Reasoning durch strukturierte Eingabeinformationen
Focused Chain-of-Thought: Efficient LLM Reasoning via Structured Input Information
November 27, 2025
papers.authors: Lukas Struppek, Dominik Hintersdorf, Hannah Struppek, Daniel Neider, Kristian Kersting
cs.AI
papers.abstract
Aktuelle große Sprachmodelle erzielen starke Reasoning-Leistungen durch die Erstellung detaillierter Chain-of-Thought-Spuren, was jedoch oft zu übermäßigem Token-Verbrauch und hoher Inferenzlatenz führt. Bestehende Effizienzansätze konzentrieren sich typischerweise auf modellzentrierte Interventionen wie bestärkendes Lernen oder überwachtes Fein-Tuning, um Weitschweifigkeit zu reduzieren. Im Gegensatz dazu schlagen wir einen trainingsfreien, eingabezentrierten Ansatz vor. Inspiriert von der kognitiven Psychologie führen wir Focused Chain-of-Thought (F-CoT) ein, das die Informationsextraktion vom Reasoning-Prozess trennt. F-CoT organisiert zunächst die wesentlichen Informationen einer Anfrage in einen prägnanten, strukturierten Kontext und leitet das Modell dann an, ausschließlich auf Basis dieses Kontexts zu schlussfolgern. Indem die Aufmerksamkeit auf irrelevante Details verhindert wird, erzeugt F-CoT natürlicherweise kürzere Reasoning-Pfade. Bei arithmetischen Textaufgaben reduziert F-CoT generierte Tokens um das 2- bis 3-fache, während die Genauigkeit vergleichbar mit Standard Zero-Shot CoT bleibt. Diese Ergebnisse unterstreichen strukturierte Eingaben als einfachen, aber effektiven Hebel für effizienteres LLM-Reasoning.
English
Recent large language models achieve strong reasoning performance by generating detailed chain-of-thought traces, but this often leads to excessive token use and high inference latency. Existing efficiency approaches typically focus on model-centric interventions, such as reinforcement learning or supervised fine-tuning, to reduce verbosity. In contrast, we propose a training-free, input-centric approach. Inspired by cognitive psychology, we introduce Focused Chain-of-Thought (F-CoT), which separates information extraction from the reasoning process. F-CoT first organizes the essential information from a query into a concise, structured context and then guides the model to reason exclusively over this context. By preventing attention to irrelevant details, F-CoT naturally produces shorter reasoning paths. On arithmetic word problems, F-CoT reduces generated tokens by 2-3x while maintaining accuracy comparable to standard zero-shot CoT. These results highlight structured input as a simple yet effective lever for more efficient LLM reasoning.