Sketch-of-Thought: Ragionamento Efficiente nei LLM con Schizzi Adattivi Ispirati alla Cognizione

Sketch-of-Thought: Efficient LLM Reasoning with Adaptive Cognitive-Inspired Sketching

March 7, 2025

Autori: Simon A. Aytes, Jinheon Baek, Sung Ju Hwang

cs.AI

Abstract

I recenti progressi nei modelli linguistici di grandi dimensioni hanno dimostrato capacità di ragionamento notevoli attraverso il prompting a Catena di Pensiero (Chain of Thought, CoT), ma spesso a costo di una verbosità eccessiva nei loro output intermedi, che aumenta il sovraccarico computazionale. Introduciamo Sketch-of-Thought (SoT), un nuovo framework di prompting che combina paradigmi di ragionamento ispirati alla cognizione con vincoli linguistici per minimizzare l'uso di token preservando l'accuratezza del ragionamento. SoT è progettato come un framework flessibile in grado di incorporare qualsiasi paradigma di ragionamento personalizzato basato sulle scienze cognitive, e lo istanziamo con tre di questi paradigmi - Concatenamento Concettuale, Simbolismo a Blocchi e Lessici Esperti - ciascuno adattato a diverse attività di ragionamento e selezionato dinamicamente tramite un modello di routing leggero. Attraverso una valutazione completa su 15 dataset di ragionamento con scenari multilingue e multimodali, dimostriamo che SoT raggiunge riduzioni del 76% nei token con un impatto trascurabile sull'accuratezza. In alcuni domini come il ragionamento matematico e multi-hop, migliora persino l'accuratezza utilizzando significativamente meno token. Il nostro codice è pubblicamente disponibile: https://www.github.com/SimonAytes/SoT.

English

Recent advances in large language models have demonstrated remarkable reasoning capabilities through Chain of Thought (CoT) prompting, but often at the cost of excessive verbosity in their intermediate outputs, which increases computational overhead. We introduce Sketch-of-Thought (SoT), a novel prompting framework that combines cognitive-inspired reasoning paradigms with linguistic constraints to minimize token usage while preserving reasoning accuracy. SoT is designed as a flexible framework that can incorporate any custom reasoning paradigms based on cognitive science, and we instantiate it with three such paradigms - Conceptual Chaining, Chunked Symbolism, and Expert Lexicons - each tailored to different reasoning tasks and selected dynamically via a lightweight routing model. Through comprehensive evaluation across 15 reasoning datasets with multiple languages and multimodal scenarios, we demonstrate that SoT achieves token reductions of 76% with negligible accuracy impact. In certain domains like mathematical and multi-hop reasoning, it even improves accuracy while using significantly fewer tokens. Our code is publicly available: https://www.github.com/SimonAytes/SoT.