CoT 백과사전: 추론 모델의 사고 방식을 분석, 예측 및 제어하기

The CoT Encyclopedia: Analyzing, Predicting, and Controlling how a Reasoning Model will Think

May 15, 2025

저자: Seongyun Lee, Seungone Kim, Minju Seo, Yongrae Jo, Dongyoung Go, Hyeonbin Hwang, Jinho Park, Xiang Yue, Sean Welleck, Graham Neubig, Moontae Lee, Minjoon Seo

cs.AI

초록

긴 사고 연쇄(Long chain-of-thought, CoT)는 현대 대규모 언어 모델의 효과적인 활용에 필수적인 요소이지만, 이러한 능력의 기반이 되는 추론 전략에 대한 이해는 여전히 제한적이다. 일부 선행 연구에서는 미리 정의된 전략 유형을 사용하여 CoT를 분류하려는 시도를 했지만, 이러한 접근 방식은 인간의 직관에 의해 제약을 받으며 모델 행동의 전체 다양성을 포착하지 못한다. 본 연구에서는 CoT 백과사전(CoT Encyclopedia)을 소개한다. 이는 모델 추론을 분석하고 조종하기 위한 하향식 프레임워크로, 모델이 생성한 CoT에서 다양한 추론 기준을 자동으로 추출하고 이를 의미 공간에 임베딩한 후 대표적인 범주로 클러스터링하며, 추론 행동을 해석하기 위한 대조적 루브릭을 도출한다. 인간 평가 결과, 이 프레임워크는 기존 방법보다 더 해석 가능하고 포괄적인 분석을 제공하는 것으로 나타났다. 또한, 이러한 이해를 통해 성능 향상을 이끌어낼 수 있음을 보여준다. 즉, 모델이 어떤 전략을 사용할 가능성이 높은지 예측하고 더 효과적인 대안으로 유도할 수 있다. 마지막으로, 훈련 데이터 형식(예: 자유 형식 vs. 객관식)이 데이터 도메인보다 추론 행동에 훨씬 더 큰 영향을 미친다는 실용적인 통찰을 제공하며, 이는 형식 인지 모델 설계의 중요성을 강조한다.

English

Long chain-of-thought (CoT) is an essential ingredient in effective usage of modern large language models, but our understanding of the reasoning strategies underlying these capabilities remains limited. While some prior works have attempted to categorize CoTs using predefined strategy types, such approaches are constrained by human intuition and fail to capture the full diversity of model behaviors. In this work, we introduce the CoT Encyclopedia, a bottom-up framework for analyzing and steering model reasoning. Our method automatically extracts diverse reasoning criteria from model-generated CoTs, embeds them into a semantic space, clusters them into representative categories, and derives contrastive rubrics to interpret reasoning behavior. Human evaluations show that this framework produces more interpretable and comprehensive analyses than existing methods. Moreover, we demonstrate that this understanding enables performance gains: we can predict which strategy a model is likely to use and guide it toward more effective alternatives. Finally, we provide practical insights, such as that training data format (e.g., free-form vs. multiple-choice) has a far greater impact on reasoning behavior than data domain, underscoring the importance of format-aware model design.