Sketch-of-Thought: Эффективное рассуждение в больших языковых моделях с адаптивным когнитивно-вдохновленным скетчингом

Sketch-of-Thought: Efficient LLM Reasoning with Adaptive Cognitive-Inspired Sketching

March 7, 2025

Авторы: Simon A. Aytes, Jinheon Baek, Sung Ju Hwang

cs.AI

Аннотация

Последние достижения в области крупных языковых моделей продемонстрировали впечатляющие способности к рассуждению благодаря использованию метода Chain of Thought (CoT), однако зачастую это сопровождается избыточной многословностью промежуточных выводов, что увеличивает вычислительные затраты. Мы представляем Sketch-of-Thought (SoT) — новый подход к формированию запросов, который сочетает когнитивно-вдохновленные парадигмы рассуждений с лингвистическими ограничениями для минимизации использования токенов при сохранении точности рассуждений. SoT разработан как гибкая структура, способная интегрировать любые пользовательские парадигмы рассуждений, основанные на когнитивной науке, и мы реализуем его с тремя такими парадигмами — Концептуальное связывание, Сгруппированный символизм и Экспертные лексиконы — каждая из которых адаптирована для различных задач рассуждения и выбирается динамически с помощью легковесной модели маршрутизации. В ходе всестороннего тестирования на 15 наборах данных для рассуждений, включающих многоязычные и мультимодальные сценарии, мы показываем, что SoT позволяет сократить количество токенов на 76% с незначительным влиянием на точность. В некоторых областях, таких как математические и многошаговые рассуждения, он даже повышает точность, используя значительно меньше токенов. Наш код доступен публично: https://www.github.com/SimonAytes/SoT.

English

Recent advances in large language models have demonstrated remarkable reasoning capabilities through Chain of Thought (CoT) prompting, but often at the cost of excessive verbosity in their intermediate outputs, which increases computational overhead. We introduce Sketch-of-Thought (SoT), a novel prompting framework that combines cognitive-inspired reasoning paradigms with linguistic constraints to minimize token usage while preserving reasoning accuracy. SoT is designed as a flexible framework that can incorporate any custom reasoning paradigms based on cognitive science, and we instantiate it with three such paradigms - Conceptual Chaining, Chunked Symbolism, and Expert Lexicons - each tailored to different reasoning tasks and selected dynamically via a lightweight routing model. Through comprehensive evaluation across 15 reasoning datasets with multiple languages and multimodal scenarios, we demonstrate that SoT achieves token reductions of 76% with negligible accuracy impact. In certain domains like mathematical and multi-hop reasoning, it even improves accuracy while using significantly fewer tokens. Our code is publicly available: https://www.github.com/SimonAytes/SoT.