ドラフトの連鎖：少ない記述で迅速に思考する

Chain of Draft: Thinking Faster by Writing Less

February 25, 2025

著者: Silei Xu, Wenhao Xie, Lingxiao Zhao, Pengcheng He

cs.AI

要旨

大規模言語モデル（LLM）は、Chain-of-Thought（CoT）プロンプティングなどのメカニズムを通じて、複雑な推論タスクを解決する際に顕著な性能を発揮してきました。CoTは詳細で段階的な推論を重視します。しかし、人間は通常、より効率的な戦略を採用します。つまり、必要な情報のみを捉えた簡潔な中間思考を草案として作成するのです。本研究では、人間の認知プロセスに着想を得た新しいパラダイムであるChain of Draft（CoD）を提案します。CoDでは、LLMがタスクを解決する際に、最小限でありながら有益な中間推論出力を生成します。冗長性を削減し、重要な洞察に焦点を当てることで、CoDはCoTと同等またはそれ以上の精度を達成しつつ、使用するトークン数をわずか7.6%に抑え、様々な推論タスクにおけるコストとレイテンシを大幅に削減します。

English

Large Language Models (LLMs) have demonstrated remarkable performance in solving complex reasoning tasks through mechanisms like Chain-of-Thought (CoT) prompting, which emphasizes verbose, step-by-step reasoning. However, humans typically employ a more efficient strategy: drafting concise intermediate thoughts that capture only essential information. In this work, we propose Chain of Draft (CoD), a novel paradigm inspired by human cognitive processes, where LLMs generate minimalistic yet informative intermediate reasoning outputs while solving tasks. By reducing verbosity and focusing on critical insights, CoD matches or surpasses CoT in accuracy while using as little as only 7.6% of the tokens, significantly reducing cost and latency across various reasoning tasks.