Сфокусированная цепочка рассуждений: эффективное мышление больших языковых моделей через структурированную входную информацию

Focused Chain-of-Thought: Efficient LLM Reasoning via Structured Input Information

November 27, 2025

Авторы: Lukas Struppek, Dominik Hintersdorf, Hannah Struppek, Daniel Neider, Kristian Kersting

cs.AI

Аннотация

Современные крупные языковые модели демонстрируют высокие результаты в логических рассуждениях благодаря генерации развернутых цепочек мыслей (chain-of-thought), однако это часто приводит к чрезмерному использованию токенов и высокой задержке вывода. Существующие методы повышения эффективности обычно сосредоточены на модельно-ориентированных подходах, таких как обучение с подкреплением или контролируемая тонкая настройка, для сокращения многословия. В противоположность этому мы предлагаем бесплатный при обучении, входо-ориентированный подход. Вдохновляясь когнитивной психологией, мы представляем Сфокусированную Цепочку Мыслей (F-CoT), которая разделяет извлечение информации и процесс рассуждения. F-CoT сначала организует ключевую информацию из запроса в лаконичный структурированный контекст, а затем направляет модель на рассуждение исключительно в рамках этого контекста. Предотвращая внимание к нерелевантным деталям, F-CoT естественным образом порождает более короткие пути рассуждений. В арифметических текстовых задачах F-CoT сокращает количество генерируемых токенов в 2–3 раза при сохранении точности, сопоставимой со стандартным zero-shot CoT. Эти результаты подчеркивают, что структурированный ввод является простым, но эффективным рычагом для повышения эффективности логических рассуждений в больших языковых моделях.

English

Recent large language models achieve strong reasoning performance by generating detailed chain-of-thought traces, but this often leads to excessive token use and high inference latency. Existing efficiency approaches typically focus on model-centric interventions, such as reinforcement learning or supervised fine-tuning, to reduce verbosity. In contrast, we propose a training-free, input-centric approach. Inspired by cognitive psychology, we introduce Focused Chain-of-Thought (F-CoT), which separates information extraction from the reasoning process. F-CoT first organizes the essential information from a query into a concise, structured context and then guides the model to reason exclusively over this context. By preventing attention to irrelevant details, F-CoT naturally produces shorter reasoning paths. On arithmetic word problems, F-CoT reduces generated tokens by 2-3x while maintaining accuracy comparable to standard zero-shot CoT. These results highlight structured input as a simple yet effective lever for more efficient LLM reasoning.