Sketch-of-Thought : Raisonnement efficace des LLM grâce à une esquisse cognitive adaptative inspirée

Sketch-of-Thought: Efficient LLM Reasoning with Adaptive Cognitive-Inspired Sketching

March 7, 2025

Auteurs: Simon A. Aytes, Jinheon Baek, Sung Ju Hwang

cs.AI

Résumé

Les récents progrès des grands modèles de langage ont démontré des capacités de raisonnement remarquables grâce à l'incitation par Chaîne de Pensée (Chain of Thought, CoT), mais souvent au prix d'une verbosité excessive dans leurs sorties intermédiaires, ce qui augmente la surcharge computationnelle. Nous introduisons Sketch-of-Thought (SoT), un nouveau cadre d'incitation qui combine des paradigmes de raisonnement inspirés de la cognition avec des contraintes linguistiques pour minimiser l'utilisation de tokens tout en préservant la précision du raisonnement. SoT est conçu comme un cadre flexible pouvant intégrer tout paradigme de raisonnement personnalisé basé sur les sciences cognitives, et nous l'instancions avec trois de ces paradigmes - Enchaînement Conceptuel, Symbolisme par Blocs et Lexiques Experts - chacun adapté à différentes tâches de raisonnement et sélectionné dynamiquement via un modèle de routage léger. À travers une évaluation exhaustive sur 15 ensembles de données de raisonnement couvrant plusieurs langues et scénarios multimodaux, nous démontrons que SoT permet des réductions de tokens de 76 % avec un impact négligeable sur la précision. Dans certains domaines comme le raisonnement mathématique et multi-étape, il améliore même la précision tout en utilisant significativement moins de tokens. Notre code est disponible publiquement : https://www.github.com/SimonAytes/SoT.

English

Recent advances in large language models have demonstrated remarkable reasoning capabilities through Chain of Thought (CoT) prompting, but often at the cost of excessive verbosity in their intermediate outputs, which increases computational overhead. We introduce Sketch-of-Thought (SoT), a novel prompting framework that combines cognitive-inspired reasoning paradigms with linguistic constraints to minimize token usage while preserving reasoning accuracy. SoT is designed as a flexible framework that can incorporate any custom reasoning paradigms based on cognitive science, and we instantiate it with three such paradigms - Conceptual Chaining, Chunked Symbolism, and Expert Lexicons - each tailored to different reasoning tasks and selected dynamically via a lightweight routing model. Through comprehensive evaluation across 15 reasoning datasets with multiple languages and multimodal scenarios, we demonstrate that SoT achieves token reductions of 76% with negligible accuracy impact. In certain domains like mathematical and multi-hop reasoning, it even improves accuracy while using significantly fewer tokens. Our code is publicly available: https://www.github.com/SimonAytes/SoT.