추론 모델의 사고 과정 이해: Schoenfeld의 에피소드 이론 관점에서

초록

대규모 추론 모델(LRMs)이 광범위한 사고의 연쇄적 추론을 생성하는 반면, 이러한 사고가 어떻게 구조화되는지 이해하기 위한 원칙적인 틀은 부족합니다. 본 논문에서는 인간의 수학적 문제 해결을 위한 고전적인 인지 프레임워크인 Schoenfeld의 에피소드 이론을 적용하여 LRM의 추론 흔적을 분석하는 새로운 접근 방식을 소개합니다. 우리는 모델이 생성한 수학 문제 해결 과정의 수천 개의 문장과 단락을 7가지 인지 레이블(예: 계획, 실행, 검증)로 주석 처리했습니다. 그 결과, 대규모 주석 처리된 코퍼스와 상세한 주석 가이드북을 포함한 기계 추론의 세밀한 분석을 위한 최초의 공개 벤치마크가 탄생했습니다. 예비 분석을 통해 LRM 추론에서의 인지 상태 간 전환 역학과 같은 독특한 패턴이 발견되었습니다. 이 프레임워크는 LRM 인지를 해석하기 위한 이론적으로 근거 있는 방법론을 제공하며, 더 제어 가능하고 투명한 추론 시스템에 대한 미래 연구를 가능하게 합니다.

English

While Large Reasoning Models (LRMs) generate extensive chain-of-thought reasoning, we lack a principled framework for understanding how these thoughts are structured. In this paper, we introduce a novel approach by applying Schoenfeld's Episode Theory, a classic cognitive framework for human mathematical problem-solving, to analyze the reasoning traces of LRMs. We annotated thousands of sentences and paragraphs from model-generated solutions to math problems using seven cognitive labels (e.g., Plan, Implement, Verify). The result is the first publicly available benchmark for the fine-grained analysis of machine reasoning, including a large annotated corpus and detailed annotation guidebooks. Our preliminary analysis reveals distinct patterns in LRM reasoning, such as the transition dynamics between cognitive states. This framework provides a theoretically grounded methodology for interpreting LRM cognition and enables future work on more controllable and transparent reasoning systems.

추론 모델의 사고 과정 이해: Schoenfeld의 에피소드 이론 관점에서

Understanding the Thinking Process of Reasoning Models: A Perspective from Schoenfeld's Episode Theory

초록

Support