Cadeia de Rascunhos: Pensando Mais Rápido ao Escrever Menos

Chain of Draft: Thinking Faster by Writing Less

February 25, 2025

Autores: Silei Xu, Wenhao Xie, Lingxiao Zhao, Pengcheng He

cs.AI

Resumo

Modelos de Linguagem de Grande Escala (LLMs) demonstraram desempenho notável na resolução de tarefas complexas de raciocínio por meio de mecanismos como o Chain-of-Thought (CoT), que enfatiza um raciocínio detalhado e passo a passo. No entanto, os humanos geralmente empregam uma estratégia mais eficiente: elaborar pensamentos intermediários concisos que capturam apenas informações essenciais. Neste trabalho, propomos o Chain of Draft (CoD), um novo paradigma inspirado nos processos cognitivos humanos, onde os LLMs geram saídas intermediárias de raciocínio minimalistas, porém informativas, ao resolver tarefas. Ao reduzir a verbosidade e focar em insights críticos, o CoD iguala ou supera o CoT em precisão enquanto utiliza apenas 7,6% dos tokens, reduzindo significativamente custos e latência em várias tarefas de raciocínio.

English

Large Language Models (LLMs) have demonstrated remarkable performance in solving complex reasoning tasks through mechanisms like Chain-of-Thought (CoT) prompting, which emphasizes verbose, step-by-step reasoning. However, humans typically employ a more efficient strategy: drafting concise intermediate thoughts that capture only essential information. In this work, we propose Chain of Draft (CoD), a novel paradigm inspired by human cognitive processes, where LLMs generate minimalistic yet informative intermediate reasoning outputs while solving tasks. By reducing verbosity and focusing on critical insights, CoD matches or surpasses CoT in accuracy while using as little as only 7.6% of the tokens, significantly reducing cost and latency across various reasoning tasks.