Sketch-of-Thought: Razonamiento Eficiente en LLM mediante Esquematización Adaptativa Inspirada en la Cognición

Sketch-of-Thought: Efficient LLM Reasoning with Adaptive Cognitive-Inspired Sketching

March 7, 2025

Autores: Simon A. Aytes, Jinheon Baek, Sung Ju Hwang

cs.AI

Resumen

Los recientes avances en los modelos de lenguaje de gran escala han demostrado capacidades de razonamiento notables a través del enfoque de Cadena de Pensamiento (CoT, por sus siglas en inglés), aunque a menudo a costa de una verbosidad excesiva en sus salidas intermedias, lo que incrementa la sobrecarga computacional. Presentamos Bosquejo de Pensamiento (SoT, por sus siglas en inglés), un marco de trabajo novedoso que combina paradigmas de razonamiento inspirados en la cognición con restricciones lingüísticas para minimizar el uso de tokens mientras se preserva la precisión del razonamiento. SoT está diseñado como un marco flexible que puede incorporar cualquier paradigma de razonamiento personalizado basado en la ciencia cognitiva, y lo instanciamos con tres de estos paradigmas: Encadenamiento Conceptual, Simbolismo Segmentado y Léxicos de Expertos, cada uno adaptado a diferentes tareas de razonamiento y seleccionado dinámicamente mediante un modelo de enrutamiento ligero. A través de una evaluación exhaustiva en 15 conjuntos de datos de razonamiento con múltiples idiomas y escenarios multimodales, demostramos que SoT logra reducciones de tokens del 76% con un impacto mínimo en la precisión. En ciertos dominios, como el razonamiento matemático y de múltiples pasos, incluso mejora la precisión mientras utiliza significativamente menos tokens. Nuestro código está disponible públicamente: https://www.github.com/SimonAytes/SoT.

English

Recent advances in large language models have demonstrated remarkable reasoning capabilities through Chain of Thought (CoT) prompting, but often at the cost of excessive verbosity in their intermediate outputs, which increases computational overhead. We introduce Sketch-of-Thought (SoT), a novel prompting framework that combines cognitive-inspired reasoning paradigms with linguistic constraints to minimize token usage while preserving reasoning accuracy. SoT is designed as a flexible framework that can incorporate any custom reasoning paradigms based on cognitive science, and we instantiate it with three such paradigms - Conceptual Chaining, Chunked Symbolism, and Expert Lexicons - each tailored to different reasoning tasks and selected dynamically via a lightweight routing model. Through comprehensive evaluation across 15 reasoning datasets with multiple languages and multimodal scenarios, we demonstrate that SoT achieves token reductions of 76% with negligible accuracy impact. In certain domains like mathematical and multi-hop reasoning, it even improves accuracy while using significantly fewer tokens. Our code is publicly available: https://www.github.com/SimonAytes/SoT.