초안의 사슬: 더 적게 쓰며 더 빠르게 사고하기

Chain of Draft: Thinking Faster by Writing Less

February 25, 2025

저자: Silei Xu, Wenhao Xie, Lingxiao Zhao, Pengcheng He

cs.AI

초록

대형 언어 모델(LLMs)은 Chain-of-Thought(CoT) 프롬프팅과 같은 메커니즘을 통해 복잡한 추론 과제를 해결하는 데 있어 뛰어난 성능을 보여왔습니다. CoT는 상세하고 단계별로 진행되는 추론을 강조합니다. 그러나 인간은 일반적으로 더 효율적인 전략을 사용합니다: 필수적인 정보만을 담은 간결한 중간 사고를 초안으로 작성하는 것입니다. 본 연구에서는 인간의 인지 과정에서 영감을 받은 새로운 패러다임인 Chain of Draft(CoD)를 제안합니다. CoD는 LLM이 과제를 해결하는 동안 최소한이지만 유익한 중간 추론 출력을 생성하도록 합니다. 불필요한 장황함을 줄이고 핵심 통찰에 집중함으로써, CoD는 다양한 추론 과제에서 CoT와 동등하거나 더 나은 정확도를 달성하면서 토큰 사용량을 최소 7.6%까지 줄여 비용과 지연 시간을 크게 감소시킵니다.

English

Large Language Models (LLMs) have demonstrated remarkable performance in solving complex reasoning tasks through mechanisms like Chain-of-Thought (CoT) prompting, which emphasizes verbose, step-by-step reasoning. However, humans typically employ a more efficient strategy: drafting concise intermediate thoughts that capture only essential information. In this work, we propose Chain of Draft (CoD), a novel paradigm inspired by human cognitive processes, where LLMs generate minimalistic yet informative intermediate reasoning outputs while solving tasks. By reducing verbosity and focusing on critical insights, CoD matches or surpasses CoT in accuracy while using as little as only 7.6% of the tokens, significantly reducing cost and latency across various reasoning tasks.