Sketch-of-Thought: Effizientes LLM-Schließen durch adaptive, kognitiv inspirierte Skizzierung

Sketch-of-Thought: Efficient LLM Reasoning with Adaptive Cognitive-Inspired Sketching

March 7, 2025

Autoren: Simon A. Aytes, Jinheon Baek, Sung Ju Hwang

cs.AI

Zusammenfassung

Jüngste Fortschritte bei großen Sprachmodellen haben bemerkenswerte Fähigkeiten im logischen Denken durch Chain-of-Thought (CoT)-Prompting demonstriert, jedoch oft auf Kosten einer übermäßigen Ausführlichkeit in ihren Zwischenergebnissen, was den Rechenaufwand erhöht. Wir stellen Sketch-of-Thought (SoT) vor, ein neuartiges Prompting-Framework, das kognitiv inspirierte Denkparadigmen mit linguistischen Einschränkungen kombiniert, um die Token-Nutzung zu minimieren und gleichzeitig die Genauigkeit des Denkprozesses zu bewahren. SoT ist als flexibles Framework konzipiert, das beliebige, auf der Kognitionswissenschaft basierende Denkparadigmen integrieren kann, und wir implementieren es mit drei solchen Paradigmen – Conceptual Chaining, Chunked Symbolism und Expert Lexicons –, die jeweils auf verschiedene Denkaufgaben zugeschnitten sind und dynamisch über ein leichtgewichtiges Routing-Modell ausgewählt werden. Durch umfassende Evaluierungen über 15 Denkdatensätze mit mehreren Sprachen und multimodalen Szenarien zeigen wir, dass SoT Token-Reduktionen von 76 % bei vernachlässigbaren Genauigkeitseinbußen erreicht. In bestimmten Bereichen wie mathematischem und Multi-Hop-Denken verbessert es sogar die Genauigkeit, während deutlich weniger Token verwendet werden. Unser Code ist öffentlich verfügbar: https://www.github.com/SimonAytes/SoT.

English

Recent advances in large language models have demonstrated remarkable reasoning capabilities through Chain of Thought (CoT) prompting, but often at the cost of excessive verbosity in their intermediate outputs, which increases computational overhead. We introduce Sketch-of-Thought (SoT), a novel prompting framework that combines cognitive-inspired reasoning paradigms with linguistic constraints to minimize token usage while preserving reasoning accuracy. SoT is designed as a flexible framework that can incorporate any custom reasoning paradigms based on cognitive science, and we instantiate it with three such paradigms - Conceptual Chaining, Chunked Symbolism, and Expert Lexicons - each tailored to different reasoning tasks and selected dynamically via a lightweight routing model. Through comprehensive evaluation across 15 reasoning datasets with multiple languages and multimodal scenarios, we demonstrate that SoT achieves token reductions of 76% with negligible accuracy impact. In certain domains like mathematical and multi-hop reasoning, it even improves accuracy while using significantly fewer tokens. Our code is publicly available: https://www.github.com/SimonAytes/SoT.