스케치-오브-생각(Sketch-of-Thought): 적응형 인지 영감 스케칭을 통한 효율적인 대형 언어 모델 추론

Sketch-of-Thought: Efficient LLM Reasoning with Adaptive Cognitive-Inspired Sketching

March 7, 2025

저자: Simon A. Aytes, Jinheon Baek, Sung Ju Hwang

cs.AI

초록

최근 대형 언어 모델의 발전은 Chain of Thought (CoT) 프롬프팅을 통해 놀라운 추론 능력을 보여주었지만, 중간 출력에서 과도한 장황함으로 인해 계산 오버헤드가 증가하는 문제가 있었습니다. 본 연구에서는 인지 과학에서 영감을 받은 추론 패러다임과 언어적 제약을 결합하여 토큰 사용을 최소화하면서도 추론 정확도를 유지하는 새로운 프롬프팅 프레임워크인 Sketch-of-Thought (SoT)를 소개합니다. SoT는 인지 과학 기반의 사용자 정의 추론 패러다임을 유연하게 통합할 수 있도록 설계되었으며, 이를 위해 Conceptual Chaining, Chunked Symbolism, Expert Lexicons이라는 세 가지 패러다임을 구체화했습니다. 각 패러다임은 서로 다른 추론 작업에 맞게 설계되었으며, 경량 라우팅 모델을 통해 동적으로 선택됩니다. 다국어 및 멀티모달 시나리오를 포함한 15개의 추론 데이터셋에 대한 포괄적인 평가를 통해, SoT가 76%의 토큰 감소를 달성하면서도 정확도에 미치는 영향이 미미함을 입증했습니다. 특히 수학적 추론 및 다중 홉 추론과 같은 특정 도메인에서는 훨씬 적은 토큰을 사용하면서도 정확도를 향상시키는 결과를 보였습니다. 본 연구의 코드는 https://www.github.com/SimonAytes/SoT에서 공개되어 있습니다.

English

Recent advances in large language models have demonstrated remarkable reasoning capabilities through Chain of Thought (CoT) prompting, but often at the cost of excessive verbosity in their intermediate outputs, which increases computational overhead. We introduce Sketch-of-Thought (SoT), a novel prompting framework that combines cognitive-inspired reasoning paradigms with linguistic constraints to minimize token usage while preserving reasoning accuracy. SoT is designed as a flexible framework that can incorporate any custom reasoning paradigms based on cognitive science, and we instantiate it with three such paradigms - Conceptual Chaining, Chunked Symbolism, and Expert Lexicons - each tailored to different reasoning tasks and selected dynamically via a lightweight routing model. Through comprehensive evaluation across 15 reasoning datasets with multiple languages and multimodal scenarios, we demonstrate that SoT achieves token reductions of 76% with negligible accuracy impact. In certain domains like mathematical and multi-hop reasoning, it even improves accuracy while using significantly fewer tokens. Our code is publicly available: https://www.github.com/SimonAytes/SoT.