Sketch-of-Thought: Efficiënt redeneren van LLM's met adaptief cognitief geïnspireerd schetsen

Sketch-of-Thought: Efficient LLM Reasoning with Adaptive Cognitive-Inspired Sketching

March 7, 2025

Auteurs: Simon A. Aytes, Jinheon Baek, Sung Ju Hwang

cs.AI

Samenvatting

Recente vooruitgang in grote taalmodellen heeft opmerkelijke redeneervaardigheden aangetoond door middel van Chain of Thought (CoT) prompting, maar vaak ten koste van overmatige uitvoerigheid in hun tussenliggende outputs, wat de rekenkosten verhoogt. Wij introduceren Sketch-of-Thought (SoT), een nieuw prompting-framework dat cognitief geïnspireerde redeneerparadigma's combineert met linguïstische beperkingen om het tokengebruik te minimaliseren terwijl de redeneernauwkeurigheid behouden blijft. SoT is ontworpen als een flexibel framework dat elk aangepast redeneerparadigma op basis van cognitieve wetenschap kan incorporeren, en we concretiseren het met drie van dergelijke paradigma's - Conceptual Chaining, Chunked Symbolism en Expert Lexicons - elk afgestemd op verschillende redeneertaken en dynamisch geselecteerd via een lichtgewicht routeringsmodel. Door middel van uitgebreide evaluatie over 15 redeneerdatasets met meerdere talen en multimodale scenario's, tonen we aan dat SoT tokenreducties van 76% bereikt met een verwaarloosbare impact op de nauwkeurigheid. In bepaalde domeinen zoals wiskundig en multi-hop redeneren, verbetert het zelfs de nauwkeurigheid terwijl aanzienlijk minder tokens worden gebruikt. Onze code is publiekelijk beschikbaar: https://www.github.com/SimonAytes/SoT.

English

Recent advances in large language models have demonstrated remarkable reasoning capabilities through Chain of Thought (CoT) prompting, but often at the cost of excessive verbosity in their intermediate outputs, which increases computational overhead. We introduce Sketch-of-Thought (SoT), a novel prompting framework that combines cognitive-inspired reasoning paradigms with linguistic constraints to minimize token usage while preserving reasoning accuracy. SoT is designed as a flexible framework that can incorporate any custom reasoning paradigms based on cognitive science, and we instantiate it with three such paradigms - Conceptual Chaining, Chunked Symbolism, and Expert Lexicons - each tailored to different reasoning tasks and selected dynamically via a lightweight routing model. Through comprehensive evaluation across 15 reasoning datasets with multiple languages and multimodal scenarios, we demonstrate that SoT achieves token reductions of 76% with negligible accuracy impact. In certain domains like mathematical and multi-hop reasoning, it even improves accuracy while using significantly fewer tokens. Our code is publicly available: https://www.github.com/SimonAytes/SoT.