Gefocuste Gedachtegang: Efficiënt Redeneren met Grote Taalmodellen via Gestructureerde Invoerinformatie

Focused Chain-of-Thought: Efficient LLM Reasoning via Structured Input Information

November 27, 2025

Auteurs: Lukas Struppek, Dominik Hintersdorf, Hannah Struppek, Daniel Neider, Kristian Kersting

cs.AI

Samenvatting

Recente grote taalmodellen bereiken sterke redeneerprestaties door gedetailleerde chain-of-thought-sporen te genereren, maar dit leidt vaak tot excessief token-gebruik en hoge inferentielatentie. Bestaande efficiëntiebenaderingen richten zich doorgaans op model-centrische interventies, zoals reinforcement learning of supervised fine-tuning, om breedsprakigheid te verminderen. Daarentegen stellen wij een trainingsvrije, input-centrische aanpak voor. Geïnspireerd door de cognitieve psychologie introduceren wij Gefocuste Chain-of-Thought (F-CoT), waarbij informatie-extractie wordt gescheiden van het redeneerproces. F-CoT structureert eerst de essentiële informatie uit een query in een beknopte, gestructureerde context en leidt het model vervolgens om uitsluitend over deze context te redeneren. Door aandacht voor irrelevante details te voorkomen, produceert F-CoT vanzelf kortere redeneerpaden. Bij rekenkundige woordproblemen reduceert F-CoT gegenereerde tokens met 2-3x terwijl de nauwkeurigheid vergelijkbaar blijft met standaard zero-shot CoT. Deze resultaten benadrukken gestructureerde input als een eenvoudige maar effectieve hefboom voor efficiënter LLM-redeneren.

English

Recent large language models achieve strong reasoning performance by generating detailed chain-of-thought traces, but this often leads to excessive token use and high inference latency. Existing efficiency approaches typically focus on model-centric interventions, such as reinforcement learning or supervised fine-tuning, to reduce verbosity. In contrast, we propose a training-free, input-centric approach. Inspired by cognitive psychology, we introduce Focused Chain-of-Thought (F-CoT), which separates information extraction from the reasoning process. F-CoT first organizes the essential information from a query into a concise, structured context and then guides the model to reason exclusively over this context. By preventing attention to irrelevant details, F-CoT naturally produces shorter reasoning paths. On arithmetic word problems, F-CoT reduces generated tokens by 2-3x while maintaining accuracy comparable to standard zero-shot CoT. These results highlight structured input as a simple yet effective lever for more efficient LLM reasoning.