Het Denkproces van Redeneermodellen Begrijpen: Een Perspectief vanuit Schoenfelds Episode Theorie

Understanding the Thinking Process of Reasoning Models: A Perspective from Schoenfeld's Episode Theory

September 18, 2025

Auteurs: Ming Li, Nan Zhang, Chenrui Fan, Hong Jiao, Yanbin Fu, Sydney Peters, Qingshu Xu, Robert Lissitz, Tianyi Zhou

cs.AI

Samenvatting

Hoewel Large Reasoning Models (LRM's) uitgebreide ketens van redeneringen genereren, ontbreekt een principieel kader om te begrijpen hoe deze gedachten gestructureerd zijn. In dit artikel introduceren we een nieuwe aanpak door Schoenfeld's Episode Theory, een klassiek cognitief kader voor menselijk wiskundig probleemoplossen, toe te passen om de redeneersporen van LRM's te analyseren. We hebben duizenden zinnen en alinea's uit door modellen gegenereerde oplossingen voor wiskundige problemen geannoteerd met zeven cognitieve labels (bijv. Plan, Implementeer, Verifieer). Het resultaat is de eerste publiek beschikbare benchmark voor de gedetailleerde analyse van machinaal redeneren, inclusief een grote geannoteerde corpus en gedetailleerde annotatiehandleidingen. Onze voorlopige analyse onthult duidelijke patronen in LRM-redeneringen, zoals de overgangsdynamiek tussen cognitieve toestanden. Dit kader biedt een theoretisch onderbouwde methodologie voor het interpreteren van LRM-cognitie en maakt toekomstig werk mogelijk aan meer controleerbare en transparante redeneersystemen.

English

While Large Reasoning Models (LRMs) generate extensive chain-of-thought reasoning, we lack a principled framework for understanding how these thoughts are structured. In this paper, we introduce a novel approach by applying Schoenfeld's Episode Theory, a classic cognitive framework for human mathematical problem-solving, to analyze the reasoning traces of LRMs. We annotated thousands of sentences and paragraphs from model-generated solutions to math problems using seven cognitive labels (e.g., Plan, Implement, Verify). The result is the first publicly available benchmark for the fine-grained analysis of machine reasoning, including a large annotated corpus and detailed annotation guidebooks. Our preliminary analysis reveals distinct patterns in LRM reasoning, such as the transition dynamics between cognitive states. This framework provides a theoretically grounded methodology for interpreting LRM cognition and enables future work on more controllable and transparent reasoning systems.