Cadena de Pensamiento Enfocada: Razonamiento Eficiente en Modelos de Lenguaje Grandes mediante Información de Entrada Estructurada

Focused Chain-of-Thought: Efficient LLM Reasoning via Structured Input Information

November 27, 2025

Autores: Lukas Struppek, Dominik Hintersdorf, Hannah Struppek, Daniel Neider, Kristian Kersting

cs.AI

Resumen

Los modelos de lenguaje grandes más recientes logran un sólido rendimiento en razonamiento mediante la generación de trazas detalladas de pensamiento en cadena (chain-of-thought), pero esto a menudo conduce a un uso excesivo de tokens y a una alta latencia en la inferencia. Los enfoques de eficiencia existentes suelen centrarse en intervenciones de tipo modelo, como el aprendizaje por refuerzo o el ajuste fino supervisado, para reducir la verbosidad. En contraste, proponemos un enfoque centrado en la entrada y que no requiere entrenamiento. Inspirados por la psicología cognitiva, presentamos el Pensamiento en Cadena Enfocado (F-CoT), que separa la extracción de información del proceso de razonamiento. F-CoT organiza primero la información esencial de una consulta en un contexto estructurado y conciso, y luego guía al modelo para que razone exclusivamente sobre este contexto. Al evitar la atención a detalles irrelevantes, F-CoT produce naturalmente trayectorias de razonamiento más cortas. En problemas aritméticos de enunciado verbal, F-CoT reduce los tokens generados entre 2 y 3 veces, manteniendo una precisión comparable al CoT estándar de cero disparos. Estos resultados destacan la entrada estructurada como una palanca simple pero efectiva para un razonamiento más eficiente en los LLM.

English

Recent large language models achieve strong reasoning performance by generating detailed chain-of-thought traces, but this often leads to excessive token use and high inference latency. Existing efficiency approaches typically focus on model-centric interventions, such as reinforcement learning or supervised fine-tuning, to reduce verbosity. In contrast, we propose a training-free, input-centric approach. Inspired by cognitive psychology, we introduce Focused Chain-of-Thought (F-CoT), which separates information extraction from the reasoning process. F-CoT first organizes the essential information from a query into a concise, structured context and then guides the model to reason exclusively over this context. By preventing attention to irrelevant details, F-CoT naturally produces shorter reasoning paths. On arithmetic word problems, F-CoT reduces generated tokens by 2-3x while maintaining accuracy comparable to standard zero-shot CoT. These results highlight structured input as a simple yet effective lever for more efficient LLM reasoning.