De CoT Encyclopedie: Analyseren, Voorspellen en Beheersen hoe een Redeneermodel zal Denken

The CoT Encyclopedia: Analyzing, Predicting, and Controlling how a Reasoning Model will Think

May 15, 2025

Auteurs: Seongyun Lee, Seungone Kim, Minju Seo, Yongrae Jo, Dongyoung Go, Hyeonbin Hwang, Jinho Park, Xiang Yue, Sean Welleck, Graham Neubig, Moontae Lee, Minjoon Seo

cs.AI

Samenvatting

Lang kettingredeneren (CoT) is een essentieel ingrediënt voor het effectieve gebruik van moderne grote taalmodelen, maar ons begrip van de redeneerstrategieën die aan deze mogelijkheden ten grondslag liggen, blijft beperkt. Hoewel sommige eerdere werken hebben geprobeerd CoT's te categoriseren met behulp van vooraf gedefinieerde strategietypen, worden dergelijke benaderingen beperkt door menselijke intuïtie en slagen ze er niet in de volledige diversiteit van modelgedragingen vast te leggen. In dit werk introduceren we de CoT Encyclopedie, een bottom-up raamwerk voor het analyseren en sturen van modelredeneringen. Onze methode extraheert automatisch diverse redeneercriteria uit door modellen gegenereerde CoT's, embedt deze in een semantische ruimte, clustert ze in representatieve categorieën en leidt contrastieve rubrieken af om redeneergedrag te interpreteren. Menselijke evaluaties tonen aan dat dit raamwerk meer interpreteerbare en uitgebreide analyses oplevert dan bestaande methoden. Bovendien demonstreren we dat dit begrip prestatieverbeteringen mogelijk maakt: we kunnen voorspellen welke strategie een model waarschijnlijk zal gebruiken en het begeleiden naar effectievere alternatieven. Tot slot bieden we praktische inzichten, zoals dat de opmaak van trainingsdata (bijv. vrije vorm vs. meerkeuze) een veel grotere impact heeft op redeneergedrag dan het datadomein, wat het belang onderstreept van opmaakbewust modelontwerp.

English

Long chain-of-thought (CoT) is an essential ingredient in effective usage of modern large language models, but our understanding of the reasoning strategies underlying these capabilities remains limited. While some prior works have attempted to categorize CoTs using predefined strategy types, such approaches are constrained by human intuition and fail to capture the full diversity of model behaviors. In this work, we introduce the CoT Encyclopedia, a bottom-up framework for analyzing and steering model reasoning. Our method automatically extracts diverse reasoning criteria from model-generated CoTs, embeds them into a semantic space, clusters them into representative categories, and derives contrastive rubrics to interpret reasoning behavior. Human evaluations show that this framework produces more interpretable and comprehensive analyses than existing methods. Moreover, we demonstrate that this understanding enables performance gains: we can predict which strategy a model is likely to use and guide it toward more effective alternatives. Finally, we provide practical insights, such as that training data format (e.g., free-form vs. multiple-choice) has a far greater impact on reasoning behavior than data domain, underscoring the importance of format-aware model design.