Compreendendo o Processo de Pensamento dos Modelos de Raciocínio: Uma Perspectiva a partir da Teoria dos Episódios de Schoenfeld

Understanding the Thinking Process of Reasoning Models: A Perspective from Schoenfeld's Episode Theory

September 18, 2025

Autores: Ming Li, Nan Zhang, Chenrui Fan, Hong Jiao, Yanbin Fu, Sydney Peters, Qingshu Xu, Robert Lissitz, Tianyi Zhou

cs.AI

Resumo

Embora os Modelos de Raciocínio de Grande Escala (LRMs) gerem extensas cadeias de pensamento, carecemos de uma estrutura teórica para compreender como esses pensamentos são estruturados. Neste artigo, introduzimos uma abordagem inovadora ao aplicar a Teoria dos Episódios de Schoenfeld, um marco clássico da cognição humana na resolução de problemas matemáticos, para analisar os traços de raciocínio dos LRMs. Anotamos milhares de frases e parágrafos de soluções geradas por modelos para problemas matemáticos, utilizando sete rótulos cognitivos (por exemplo, Planejar, Implementar, Verificar). O resultado é o primeiro benchmark publicamente disponível para a análise detalhada do raciocínio de máquinas, incluindo um grande corpus anotado e manuais de anotação detalhados. Nossa análise preliminar revela padrões distintos no raciocínio dos LRMs, como as dinâmicas de transição entre estados cognitivos. Essa estrutura oferece uma metodologia fundamentada teoricamente para interpretar a cognição dos LRMs e possibilita trabalhos futuros em sistemas de raciocínio mais controláveis e transparentes.

English

While Large Reasoning Models (LRMs) generate extensive chain-of-thought reasoning, we lack a principled framework for understanding how these thoughts are structured. In this paper, we introduce a novel approach by applying Schoenfeld's Episode Theory, a classic cognitive framework for human mathematical problem-solving, to analyze the reasoning traces of LRMs. We annotated thousands of sentences and paragraphs from model-generated solutions to math problems using seven cognitive labels (e.g., Plan, Implement, Verify). The result is the first publicly available benchmark for the fine-grained analysis of machine reasoning, including a large annotated corpus and detailed annotation guidebooks. Our preliminary analysis reveals distinct patterns in LRM reasoning, such as the transition dynamics between cognitive states. This framework provides a theoretically grounded methodology for interpreting LRM cognition and enables future work on more controllable and transparent reasoning systems.