Catena di Pensiero Focalizzata: Ragionamento Efficiente nei LLM tramite Informazioni di Input Strutturate

Focused Chain-of-Thought: Efficient LLM Reasoning via Structured Input Information

November 27, 2025

Autori: Lukas Struppek, Dominik Hintersdorf, Hannah Struppek, Daniel Neider, Kristian Kersting

cs.AI

Abstract

I recenti modelli linguistici su larga scala raggiungono prestazioni di ragionamento solide generando tracce dettagliate del pensiero a catena (chain-of-thought), ma ciò spesso porta a un uso eccessivo di token e a un'elevata latenza di inferenza. Gli approcci esistenti per l'efficienza si concentrano tipicamente su interventi di tipo modellistico, come l'apprendimento per rinforzo o la messa a punto supervisionata, per ridurre la verbosità. Al contrario, noi proponiamo un approccio incentrato sull'input, che non richiede addestramento. Ispirati dalla psicologia cognitiva, introduciamo la Catena di Pensiero Focalizzata (F-CoT), che separa l'estrazione delle informazioni dal processo di ragionamento. L'F-CoT organizza prima le informazioni essenziali di una query in un contesto strutturato e conciso, per poi guidare il modello a ragionare esclusivamente su questo contesto. Impedendo l'attenzione ai dettagli irrilevanti, l'F-CoT produce naturalmente percorsi di ragionamento più brevi. Su problemi aritmetici espressi in linguaggio naturale, l'F-CoT riduce i token generati di 2-3 volte mantenendo un'accuratezza paragonabile allo standard zero-shot CoT. Questi risultati evidenziano come un input strutturato rappresenti una leva semplice ma efficace per un ragionamento più efficiente negli LLM.

English

Recent large language models achieve strong reasoning performance by generating detailed chain-of-thought traces, but this often leads to excessive token use and high inference latency. Existing efficiency approaches typically focus on model-centric interventions, such as reinforcement learning or supervised fine-tuning, to reduce verbosity. In contrast, we propose a training-free, input-centric approach. Inspired by cognitive psychology, we introduce Focused Chain-of-Thought (F-CoT), which separates information extraction from the reasoning process. F-CoT first organizes the essential information from a query into a concise, structured context and then guides the model to reason exclusively over this context. By preventing attention to irrelevant details, F-CoT naturally produces shorter reasoning paths. On arithmetic word problems, F-CoT reduces generated tokens by 2-3x while maintaining accuracy comparable to standard zero-shot CoT. These results highlight structured input as a simple yet effective lever for more efficient LLM reasoning.