Chaîne de Brouillons : Penser plus vite en écrivant moins

Chain of Draft: Thinking Faster by Writing Less

February 25, 2025

Auteurs: Silei Xu, Wenhao Xie, Lingxiao Zhao, Pengcheng He

cs.AI

Résumé

Les modèles de langage de grande taille (LLM) ont démontré des performances remarquables dans la résolution de tâches de raisonnement complexes grâce à des mécanismes comme l'incitation en chaîne de pensée (Chain-of-Thought, CoT), qui met l'accent sur un raisonnement détaillé et étape par étape. Cependant, les humains utilisent généralement une stratégie plus efficace : l'élaboration de pensées intermédiaires concises qui ne capturent que les informations essentielles. Dans ce travail, nous proposons la Chaîne de Brouillon (Chain of Draft, CoD), un nouveau paradigme inspiré des processus cognitifs humains, où les LLM génèrent des sorties de raisonnement intermédiaires minimalistes mais informatives lors de la résolution de tâches. En réduisant la verbosité et en se concentrant sur les insights critiques, CoD atteint ou dépasse la précision de CoT tout en utilisant seulement 7,6 % des tokens, réduisant ainsi significativement les coûts et la latence pour diverses tâches de raisonnement.

English

Large Language Models (LLMs) have demonstrated remarkable performance in solving complex reasoning tasks through mechanisms like Chain-of-Thought (CoT) prompting, which emphasizes verbose, step-by-step reasoning. However, humans typically employ a more efficient strategy: drafting concise intermediate thoughts that capture only essential information. In this work, we propose Chain of Draft (CoD), a novel paradigm inspired by human cognitive processes, where LLMs generate minimalistic yet informative intermediate reasoning outputs while solving tasks. By reducing verbosity and focusing on critical insights, CoD matches or surpasses CoT in accuracy while using as little as only 7.6% of the tokens, significantly reducing cost and latency across various reasoning tasks.