La Enciclopedia CoT: Analizando, Prediciendo y Controlando cómo Piensa un Modelo de Razonamiento

The CoT Encyclopedia: Analyzing, Predicting, and Controlling how a Reasoning Model will Think

May 15, 2025

Autores: Seongyun Lee, Seungone Kim, Minju Seo, Yongrae Jo, Dongyoung Go, Hyeonbin Hwang, Jinho Park, Xiang Yue, Sean Welleck, Graham Neubig, Moontae Lee, Minjoon Seo

cs.AI

Resumen

La cadena de pensamiento extensa (CoT, por sus siglas en inglés) es un componente esencial para el uso efectivo de los modelos de lenguaje modernos de gran escala, pero nuestra comprensión de las estrategias de razonamiento subyacentes a estas capacidades sigue siendo limitada. Si bien algunos trabajos previos han intentado categorizar las CoT utilizando tipos de estrategias predefinidos, estos enfoques están limitados por la intuición humana y no logran capturar la diversidad completa de los comportamientos del modelo. En este trabajo, presentamos la Enciclopedia CoT, un marco de análisis y dirección del razonamiento del modelo construido de abajo hacia arriba. Nuestro método extrae automáticamente diversos criterios de razonamiento de las CoT generadas por el modelo, los integra en un espacio semántico, los agrupa en categorías representativas y deriva rúbricas contrastivas para interpretar el comportamiento de razonamiento. Las evaluaciones humanas muestran que este marco produce análisis más interpretables y completos que los métodos existentes. Además, demostramos que esta comprensión permite mejoras en el rendimiento: podemos predecir qué estrategia es probable que utilice un modelo y guiarlo hacia alternativas más efectivas. Finalmente, ofrecemos insights prácticos, como que el formato de los datos de entrenamiento (por ejemplo, de forma libre frente a opción múltiple) tiene un impacto mucho mayor en el comportamiento de razonamiento que el dominio de los datos, subrayando la importancia del diseño de modelos consciente del formato.

English

Long chain-of-thought (CoT) is an essential ingredient in effective usage of modern large language models, but our understanding of the reasoning strategies underlying these capabilities remains limited. While some prior works have attempted to categorize CoTs using predefined strategy types, such approaches are constrained by human intuition and fail to capture the full diversity of model behaviors. In this work, we introduce the CoT Encyclopedia, a bottom-up framework for analyzing and steering model reasoning. Our method automatically extracts diverse reasoning criteria from model-generated CoTs, embeds them into a semantic space, clusters them into representative categories, and derives contrastive rubrics to interpret reasoning behavior. Human evaluations show that this framework produces more interpretable and comprehensive analyses than existing methods. Moreover, we demonstrate that this understanding enables performance gains: we can predict which strategy a model is likely to use and guide it toward more effective alternatives. Finally, we provide practical insights, such as that training data format (e.g., free-form vs. multiple-choice) has a far greater impact on reasoning behavior than data domain, underscoring the importance of format-aware model design.