A Enciclopédia CoT: Analisando, Prevendo e Controlando como um Modelo de Raciocínio Pensará
The CoT Encyclopedia: Analyzing, Predicting, and Controlling how a Reasoning Model will Think
May 15, 2025
Autores: Seongyun Lee, Seungone Kim, Minju Seo, Yongrae Jo, Dongyoung Go, Hyeonbin Hwang, Jinho Park, Xiang Yue, Sean Welleck, Graham Neubig, Moontae Lee, Minjoon Seo
cs.AI
Resumo
A cadeia de pensamento (CoT, do inglês Chain-of-Thought) é um elemento essencial para o uso eficaz dos modernos modelos de linguagem de grande escala, mas nossa compreensão das estratégias de raciocínio subjacentes a essas capacidades ainda é limitada. Embora alguns trabalhos anteriores tenham tentado categorizar as CoTs usando tipos de estratégias predefinidos, tais abordagens são limitadas pela intuição humana e não conseguem capturar toda a diversidade dos comportamentos dos modelos. Neste trabalho, introduzimos a Enciclopédia de CoT, uma estrutura de análise e direcionamento do raciocínio dos modelos construída de baixo para cima. Nosso método extrai automaticamente critérios diversos de raciocínio a partir das CoTs geradas pelos modelos, os incorpora em um espaço semântico, os agrupa em categorias representativas e deriva rubricas contrastantes para interpretar o comportamento de raciocínio. Avaliações humanas mostram que essa estrutura produz análises mais interpretáveis e abrangentes do que os métodos existentes. Além disso, demonstramos que esse entendimento possibilita ganhos de desempenho: podemos prever qual estratégia um modelo provavelmente usará e guiá-lo para alternativas mais eficazes. Por fim, oferecemos insights práticos, como o fato de que o formato dos dados de treinamento (por exemplo, livre vs. múltipla escolha) tem um impacto muito maior no comportamento de raciocínio do que o domínio dos dados, destacando a importância de um design de modelo consciente do formato.
English
Long chain-of-thought (CoT) is an essential ingredient in effective usage of
modern large language models, but our understanding of the reasoning strategies
underlying these capabilities remains limited. While some prior works have
attempted to categorize CoTs using predefined strategy types, such approaches
are constrained by human intuition and fail to capture the full diversity of
model behaviors. In this work, we introduce the CoT Encyclopedia, a bottom-up
framework for analyzing and steering model reasoning. Our method automatically
extracts diverse reasoning criteria from model-generated CoTs, embeds them into
a semantic space, clusters them into representative categories, and derives
contrastive rubrics to interpret reasoning behavior. Human evaluations show
that this framework produces more interpretable and comprehensive analyses than
existing methods. Moreover, we demonstrate that this understanding enables
performance gains: we can predict which strategy a model is likely to use and
guide it toward more effective alternatives. Finally, we provide practical
insights, such as that training data format (e.g., free-form vs.
multiple-choice) has a far greater impact on reasoning behavior than data
domain, underscoring the importance of format-aware model design.