Sketch-of-Thought: Raciocínio Eficiente em LLMs com Esboço Adaptativo Inspirado na Cognição

Sketch-of-Thought: Efficient LLM Reasoning with Adaptive Cognitive-Inspired Sketching

March 7, 2025

Autores: Simon A. Aytes, Jinheon Baek, Sung Ju Hwang

cs.AI

Resumo

Avanços recentes em modelos de linguagem de grande escala demonstraram capacidades de raciocínio notáveis por meio do prompting de Cadeia de Pensamento (Chain of Thought, CoT), mas frequentemente ao custo de uma verbosidade excessiva em suas saídas intermediárias, o que aumenta a sobrecarga computacional. Introduzimos o Sketch-of-Thought (SoT), uma nova estrutura de prompting que combina paradigmas de raciocínio inspirados na cognição com restrições linguísticas para minimizar o uso de tokens, mantendo a precisão do raciocínio. O SoT foi projetado como uma estrutura flexível que pode incorporar qualquer paradigma de raciocínio personalizado baseado na ciência cognitiva, e o instanciamos com três desses paradigmas - Encadeamento Conceitual, Simbolismo em Blocos e Léxicos de Especialistas - cada um adaptado a diferentes tarefas de raciocínio e selecionado dinamicamente por meio de um modelo de roteamento leve. Por meio de uma avaliação abrangente em 15 conjuntos de dados de raciocínio com múltiplos idiomas e cenários multimodais, demonstramos que o SoT alcança reduções de 76% no uso de tokens com impacto insignificante na precisão. Em certos domínios, como raciocínio matemático e de múltiplos passos, ele até melhora a precisão enquanto utiliza significativamente menos tokens. Nosso código está publicamente disponível: https://www.github.com/SimonAytes/SoT.

English

Recent advances in large language models have demonstrated remarkable reasoning capabilities through Chain of Thought (CoT) prompting, but often at the cost of excessive verbosity in their intermediate outputs, which increases computational overhead. We introduce Sketch-of-Thought (SoT), a novel prompting framework that combines cognitive-inspired reasoning paradigms with linguistic constraints to minimize token usage while preserving reasoning accuracy. SoT is designed as a flexible framework that can incorporate any custom reasoning paradigms based on cognitive science, and we instantiate it with three such paradigms - Conceptual Chaining, Chunked Symbolism, and Expert Lexicons - each tailored to different reasoning tasks and selected dynamically via a lightweight routing model. Through comprehensive evaluation across 15 reasoning datasets with multiple languages and multimodal scenarios, we demonstrate that SoT achieves token reductions of 76% with negligible accuracy impact. In certain domains like mathematical and multi-hop reasoning, it even improves accuracy while using significantly fewer tokens. Our code is publicly available: https://www.github.com/SimonAytes/SoT.