スケッチ・オブ・シンキング：適応的認知インスパイア型スケッチングによる効率的な大規模言語モデル推論

Sketch-of-Thought: Efficient LLM Reasoning with Adaptive Cognitive-Inspired Sketching

March 7, 2025

著者: Simon A. Aytes, Jinheon Baek, Sung Ju Hwang

cs.AI

要旨

大規模言語モデルの最近の進展により、Chain of Thought (CoT) プロンプティングを通じて顕著な推論能力が示されていますが、中間出力における冗長性が高く、計算コストが増大するという課題があります。本論文では、Sketch-of-Thought (SoT) という新しいプロンプティングフレームワークを提案します。SoTは、認知科学に基づく推論パラダイムと言語的制約を組み合わせ、推論精度を維持しながらトークン使用量を最小化することを目指します。SoTは柔軟なフレームワークとして設計されており、認知科学に基づく任意のカスタム推論パラダイムを組み込むことが可能です。本論文では、Conceptual Chaining、Chunked Symbolism、Expert Lexiconsという3つの推論パラダイムを具体化し、軽量なルーティングモデルによって動的に選択されるようにしました。15の推論データセットを用いた多言語・マルチモーダルシナリオでの包括的評価を通じて、SoTが76%のトークン削減を達成しつつ、精度への影響が無視できるレベルであることを示します。数学的推論やマルチホップ推論などの特定の領域では、トークン使用量を大幅に削減しながら精度を向上させることも確認されました。コードは公開されています: https://www.github.com/SimonAytes/SoT。

English

Recent advances in large language models have demonstrated remarkable reasoning capabilities through Chain of Thought (CoT) prompting, but often at the cost of excessive verbosity in their intermediate outputs, which increases computational overhead. We introduce Sketch-of-Thought (SoT), a novel prompting framework that combines cognitive-inspired reasoning paradigms with linguistic constraints to minimize token usage while preserving reasoning accuracy. SoT is designed as a flexible framework that can incorporate any custom reasoning paradigms based on cognitive science, and we instantiate it with three such paradigms - Conceptual Chaining, Chunked Symbolism, and Expert Lexicons - each tailored to different reasoning tasks and selected dynamically via a lightweight routing model. Through comprehensive evaluation across 15 reasoning datasets with multiple languages and multimodal scenarios, we demonstrate that SoT achieves token reductions of 76% with negligible accuracy impact. In certain domains like mathematical and multi-hop reasoning, it even improves accuracy while using significantly fewer tokens. Our code is publicly available: https://www.github.com/SimonAytes/SoT.