CoT百科：推論モデルの思考を分析、予測、制御する方法

The CoT Encyclopedia: Analyzing, Predicting, and Controlling how a Reasoning Model will Think

May 15, 2025

著者: Seongyun Lee, Seungone Kim, Minju Seo, Yongrae Jo, Dongyoung Go, Hyeonbin Hwang, Jinho Park, Xiang Yue, Sean Welleck, Graham Neubig, Moontae Lee, Minjoon Seo

cs.AI

要旨

長い連鎖的思考（CoT）は、現代の大規模言語モデルを効果的に活用する上で不可欠な要素であるが、これらの能力を支える推論戦略に関する我々の理解は依然として限られている。これまでの研究では、事前に定義された戦略タイプを用いてCoTを分類しようとする試みがなされてきたが、そのようなアプローチは人間の直感に制約され、モデルの行動の多様性を十分に捉えることができていない。本研究では、CoT Encyclopediaを紹介する。これは、モデルの推論を分析し、導くためのボトムアップ型のフレームワークである。我々の手法は、モデルが生成したCoTから多様な推論基準を自動的に抽出し、それらを意味空間に埋め込み、代表的なカテゴリにクラスタリングし、推論行動を解釈するための対照的なルーブリックを導出する。人間による評価では、このフレームワークが既存の手法よりも解釈可能で包括的な分析を生み出すことが示されている。さらに、この理解が性能向上を可能にすることも実証している。具体的には、モデルがどの戦略を使用しそうかを予測し、より効果的な代替案へと導くことができる。最後に、トレーニングデータの形式（例：自由形式 vs. 多肢選択式）がデータのドメインよりも推論行動に遥かに大きな影響を与えるなど、形式を意識したモデル設計の重要性を強調する実践的な洞察を提供する。

English

Long chain-of-thought (CoT) is an essential ingredient in effective usage of modern large language models, but our understanding of the reasoning strategies underlying these capabilities remains limited. While some prior works have attempted to categorize CoTs using predefined strategy types, such approaches are constrained by human intuition and fail to capture the full diversity of model behaviors. In this work, we introduce the CoT Encyclopedia, a bottom-up framework for analyzing and steering model reasoning. Our method automatically extracts diverse reasoning criteria from model-generated CoTs, embeds them into a semantic space, clusters them into representative categories, and derives contrastive rubrics to interpret reasoning behavior. Human evaluations show that this framework produces more interpretable and comprehensive analyses than existing methods. Moreover, we demonstrate that this understanding enables performance gains: we can predict which strategy a model is likely to use and guide it toward more effective alternatives. Finally, we provide practical insights, such as that training data format (e.g., free-form vs. multiple-choice) has a far greater impact on reasoning behavior than data domain, underscoring the importance of format-aware model design.