Comprendere il Processo di Pensiero dei Modelli di Ragionamento: Una Prospettiva dalla Teoria degli Episodi di Schoenfeld

Understanding the Thinking Process of Reasoning Models: A Perspective from Schoenfeld's Episode Theory

September 18, 2025

Autori: Ming Li, Nan Zhang, Chenrui Fan, Hong Jiao, Yanbin Fu, Sydney Peters, Qingshu Xu, Robert Lissitz, Tianyi Zhou

cs.AI

Abstract

Mentre i Large Reasoning Models (LRM) generano estese catene di ragionamento, manca un framework strutturato per comprendere come questi pensieri siano organizzati. In questo articolo, introduciamo un approccio innovativo applicando la Teoria degli Episodi di Schoenfeld, un classico framework cognitivo per la risoluzione di problemi matematici umani, per analizzare le tracce di ragionamento degli LRM. Abbiamo annotato migliaia di frasi e paragrafi provenienti da soluzioni generate da modelli per problemi matematici utilizzando sette etichette cognitive (ad esempio, Pianificare, Implementare, Verificare). Il risultato è il primo benchmark pubblicamente disponibile per l'analisi granulare del ragionamento automatico, comprendente un ampio corpus annotato e guide dettagliate per l'annotazione. La nostra analisi preliminare rivela modelli distinti nel ragionamento degli LRM, come le dinamiche di transizione tra stati cognitivi. Questo framework fornisce una metodologia teoricamente fondata per interpretare la cognizione degli LRM e consente futuri lavori su sistemi di ragionamento più controllabili e trasparenti.

English

While Large Reasoning Models (LRMs) generate extensive chain-of-thought reasoning, we lack a principled framework for understanding how these thoughts are structured. In this paper, we introduce a novel approach by applying Schoenfeld's Episode Theory, a classic cognitive framework for human mathematical problem-solving, to analyze the reasoning traces of LRMs. We annotated thousands of sentences and paragraphs from model-generated solutions to math problems using seven cognitive labels (e.g., Plan, Implement, Verify). The result is the first publicly available benchmark for the fine-grained analysis of machine reasoning, including a large annotated corpus and detailed annotation guidebooks. Our preliminary analysis reveals distinct patterns in LRM reasoning, such as the transition dynamics between cognitive states. This framework provides a theoretically grounded methodology for interpreting LRM cognition and enables future work on more controllable and transparent reasoning systems.