集中型思考連鎖：構造化された入力情報による効率的な大規模言語モデルの推論

要旨

近年の大規模言語モデルは、詳細な連鎖思考（Chain-of-Thought）の軌跡を生成することで強力な推論性能を達成しているが、これによりトークン使用量の過剰な増加や推論遅延の高まりが生じることが多い。既存の効率化アプローチは、冗長性を削減するために強化学習や教師ありファインチューニングといったモデル中心の介入に主眼を置く傾向がある。これに対し、我々は学習不要の入力中心アプローチを提案する。認知心理学に着想を得て、情報抽出と推論プロセスを分離するFocused Chain-of-Thought（F-CoT）を導入する。F-CoTはまず、質問から本質的な情報を簡潔で構造化された文脈に整理し、その後、モデルがこの文脈のみに特化して推論するよう誘導する。無関係な詳細への注意を防ぐことで、F-CoTは自然に短い推論経路を生成する。算数文章題において、F-CoTは標準的なゼロショットCoTと同等の精度を維持しつつ、生成トークン量を2～3分の1に削減した。これらの結果は、構造化された入力を用いることが、より効率的なLLM推論に向けた簡潔かつ効果的な手段であることを示唆している。

English

Recent large language models achieve strong reasoning performance by generating detailed chain-of-thought traces, but this often leads to excessive token use and high inference latency. Existing efficiency approaches typically focus on model-centric interventions, such as reinforcement learning or supervised fine-tuning, to reduce verbosity. In contrast, we propose a training-free, input-centric approach. Inspired by cognitive psychology, we introduce Focused Chain-of-Thought (F-CoT), which separates information extraction from the reasoning process. F-CoT first organizes the essential information from a query into a concise, structured context and then guides the model to reason exclusively over this context. By preventing attention to irrelevant details, F-CoT naturally produces shorter reasoning paths. On arithmetic word problems, F-CoT reduces generated tokens by 2-3x while maintaining accuracy comparable to standard zero-shot CoT. These results highlight structured input as a simple yet effective lever for more efficient LLM reasoning.

集中型思考連鎖：構造化された入力情報による効率的な大規模言語モデルの推論

Focused Chain-of-Thought: Efficient LLM Reasoning via Structured Input Information

要旨

Support