Энциклопедия CoT: анализ, прогнозирование и управление процессом мышления модели рассуждений

The CoT Encyclopedia: Analyzing, Predicting, and Controlling how a Reasoning Model will Think

May 15, 2025

Авторы: Seongyun Lee, Seungone Kim, Minju Seo, Yongrae Jo, Dongyoung Go, Hyeonbin Hwang, Jinho Park, Xiang Yue, Sean Welleck, Graham Neubig, Moontae Lee, Minjoon Seo

cs.AI

Аннотация

Длинные цепочки рассуждений (CoT) являются важным элементом эффективного использования современных крупных языковых моделей, однако наше понимание стратегий рассуждений, лежащих в основе этих возможностей, остается ограниченным. Хотя некоторые предыдущие работы пытались классифицировать CoT с использованием заранее определенных типов стратегий, такие подходы ограничены человеческой интуицией и не способны охватить всё разнообразие поведения моделей. В данной работе мы представляем "Энциклопедию CoT" — фреймворк для анализа и управления рассуждениями моделей, построенный снизу вверх. Наш метод автоматически извлекает разнообразные критерии рассуждений из CoT, сгенерированных моделями, встраивает их в семантическое пространство, группирует в репрезентативные категории и выводит контрастные критерии для интерпретации поведения рассуждений. Человеческие оценки показывают, что этот фреймворк обеспечивает более интерпретируемый и всесторонний анализ по сравнению с существующими методами. Более того, мы демонстрируем, что такое понимание позволяет добиться улучшения производительности: мы можем предсказать, какую стратегию модель, вероятно, будет использовать, и направить её к более эффективным альтернативам. Наконец, мы предоставляем практические инсайты, например, что формат обучающих данных (например, свободный текст vs. множественный выбор) оказывает гораздо большее влияние на поведение рассуждений, чем предметная область данных, что подчеркивает важность проектирования моделей с учетом формата данных.

English

Long chain-of-thought (CoT) is an essential ingredient in effective usage of modern large language models, but our understanding of the reasoning strategies underlying these capabilities remains limited. While some prior works have attempted to categorize CoTs using predefined strategy types, such approaches are constrained by human intuition and fail to capture the full diversity of model behaviors. In this work, we introduce the CoT Encyclopedia, a bottom-up framework for analyzing and steering model reasoning. Our method automatically extracts diverse reasoning criteria from model-generated CoTs, embeds them into a semantic space, clusters them into representative categories, and derives contrastive rubrics to interpret reasoning behavior. Human evaluations show that this framework produces more interpretable and comprehensive analyses than existing methods. Moreover, we demonstrate that this understanding enables performance gains: we can predict which strategy a model is likely to use and guide it toward more effective alternatives. Finally, we provide practical insights, such as that training data format (e.g., free-form vs. multiple-choice) has a far greater impact on reasoning behavior than data domain, underscoring the importance of format-aware model design.