집중적 사고 연쇄: 구조화된 입력 정보를 통한 효율적인 대규모 언어 모델 추론

초록

최근 대규모 언어 모델은 자세한 사고 연쇄(chain-of-thought) 추적을 생성하여 강력한 추론 성능을 달성하지만, 이로 인해 과도한 토큰 사용과 높은 추론 지연 시간이 초래되는 경우가 많습니다. 기존 효율성 접근법은 일반적으로 강화 학습이나 지도 미세 조정과 같은 모델 중심 개입에 초점을 맞춰 장황함을 줄이는 방식을 취해왔습니다. 이에 반해, 우리는 훈련이 필요 없는 입력 중심 접근법을 제안합니다. 인지 심리학에서 영감을 받은 집중 사고 연쇄(Focused Chain-of-Thought, F-CoT)는 정보 추출과 추론 과정을 분리합니다. F-CoT는 먼저 질의에서 핵심 정보를 간결하고 구조화된 맥락으로 조직한 다음, 모델이 오직 이 맥락만을 대상으로 추론하도록 유도합니다. 관련 없는 세부 사항에 대한 주의를 방지함으로써 F-CoT는 자연스럽게 더 짧은 추론 경로를 생성합니다. 산술 단어 문제에서 F-CoT는 생성 토큰을 2-3배 줄이면서도 표준 제로샷 CoT와 비슷한 정확도를 유지했습니다. 이러한 결과는 구조화된 입력이 더 효율적인 LLM 추론을 위한 간단하면서도 효과적인 수단이 될 수 있음을 보여줍니다.

English

Recent large language models achieve strong reasoning performance by generating detailed chain-of-thought traces, but this often leads to excessive token use and high inference latency. Existing efficiency approaches typically focus on model-centric interventions, such as reinforcement learning or supervised fine-tuning, to reduce verbosity. In contrast, we propose a training-free, input-centric approach. Inspired by cognitive psychology, we introduce Focused Chain-of-Thought (F-CoT), which separates information extraction from the reasoning process. F-CoT first organizes the essential information from a query into a concise, structured context and then guides the model to reason exclusively over this context. By preventing attention to irrelevant details, F-CoT naturally produces shorter reasoning paths. On arithmetic word problems, F-CoT reduces generated tokens by 2-3x while maintaining accuracy comparable to standard zero-shot CoT. These results highlight structured input as a simple yet effective lever for more efficient LLM reasoning.

집중적 사고 연쇄: 구조화된 입력 정보를 통한 효율적인 대규모 언어 모델 추론

Focused Chain-of-Thought: Efficient LLM Reasoning via Structured Input Information

초록

Support