Chaîne de Pensée Ciblée : Raisonnement Efficace des LLM via des Informations d'Entrée Structurées
Focused Chain-of-Thought: Efficient LLM Reasoning via Structured Input Information
November 27, 2025
papers.authors: Lukas Struppek, Dominik Hintersdorf, Hannah Struppek, Daniel Neider, Kristian Kersting
cs.AI
papers.abstract
Les grands modèles de langage récents obtiennent de solides performances en raisonnement en générant des traces détaillées de raisonnement en chaîne (chain-of-thought), mais cela entraîne souvent une consommation excessive de tokens et une latence d'inférence élevée. Les approches existantes pour améliorer l'efficacité se concentrent généralement sur des interventions centrées sur le modèle, comme l'apprentissage par renforcement ou le fine-tuning supervisé, pour réduire la verbosité. En revanche, nous proposons une approche non entraînée, centrée sur l'entrée. Inspirés par la psychologie cognitive, nous introduisons le Raisonnement en Chaîne Ciblé (F-CoT), qui sépare l'extraction d'informations du processus de raisonnement. F-CoT organise d'abord les informations essentielles d'une requête dans un contexte structuré et concis, puis guide le modèle pour qu'il raisonne exclusivement sur ce contexte. En empêchant l'attention de se porter sur des détails non pertinents, F-CoT produit naturellement des chemins de raisonnement plus courts. Sur des problèmes arithmétiques formulés en langage naturel, F-CoT réduit le nombre de tokens générés par 2 à 3 tout en maintenant une précision comparable à celle du CoT standard sans apprentissage (zero-shot). Ces résultats soulignent que la structuration de l'entrée est un levier simple mais efficace pour un raisonnement plus efficient des grands modèles de langage.
English
Recent large language models achieve strong reasoning performance by generating detailed chain-of-thought traces, but this often leads to excessive token use and high inference latency. Existing efficiency approaches typically focus on model-centric interventions, such as reinforcement learning or supervised fine-tuning, to reduce verbosity. In contrast, we propose a training-free, input-centric approach. Inspired by cognitive psychology, we introduce Focused Chain-of-Thought (F-CoT), which separates information extraction from the reasoning process. F-CoT first organizes the essential information from a query into a concise, structured context and then guides the model to reason exclusively over this context. By preventing attention to irrelevant details, F-CoT naturally produces shorter reasoning paths. On arithmetic word problems, F-CoT reduces generated tokens by 2-3x while maintaining accuracy comparable to standard zero-shot CoT. These results highlight structured input as a simple yet effective lever for more efficient LLM reasoning.