수학 추론에서 사고 사슬(Chain-of-Thought)의 구조

초록

대규모 언어 모델(LLM)은 수학적 추론 벤치마크에서 높은 성능을 달성하지만, 그 추론의 기저에 있는 수학적으로 의미 있는 능력은 충분히 탐구되지 않았다. 우리는 수학 교육에서 개발된 두 가지 관점, 즉 (1) 의미 공간(semantic space): 문제에 대한 모델의 진화하는 수학적 해석(예: 대수적, 기하학적)과 (2) 휴리스틱(heuristic): 해당 공간 내에서 수행되는 구체적 수학적 행동(예: 문제 단순화, 역방향 추론)을 통해 Chain-of-Thought(CoT) 궤적을 분석하는 프레임워크인 SHAPE를 제안한다. 먼저 SHAPE를 사용하여 다양한 모델의 추론 패턴을 분석한다. 그 결과, 모델이 사용하는 수학적 휴리스틱이 기존 CoT 특징보다 최종 답변의 정확성을 더 잘 설명하는 것으로 나타났다. 또한, 모델은 여러 이질적인 의미 공간을 탐색하기보다 소수의 의미 공간에 추론 노력을 집중할 때 정답에 도달할 가능성이 높으며, 이는 인간의 행동과 일치하는 패턴이다. 다음으로, 우리는 후속 학습(post-training)이 수학적 능력을 실제로 향상시키는지 평가하기 위해 SHAPE 관점을 활용한다. 그 결과 강화 학습은 휴리스틱 사용에서 모드 추구(mode-seeking)를 유발함을 발견했다. 마지막으로, 우리는 다양한 휴리스틱을 촉진하여 LLM을 후속 학습하고, 이것이 정확도 향상에 효과적임을 입증한다. 전반적으로, SHAPE는 LLM 추론을 해독하기 위한 이론적 기반의 진단 프레임워크를 제공하며, 수학적 추론을 위한 LLM 후속 학습의 새로운 경로를 제시한다. 우리 모델의 코드는 https://github.com/holi-lab/SHAPE-of-CoT에서 확인할 수 있다.

English

Large language models (LLMs) achieve strong performance on mathematical reasoning benchmarks, yet the mathematically meaningful skills underlying their reasoning remain underexplored. We introduce SHAPE, a framework that analyzes Chain-of-Thought (CoT) trajectories through two lenses developed in mathematics education: (1) semantic spaces: the model's evolving mathematical interpretations of a problem (e.g., algebraic, geometric), and (2) heuristics: the specific mathematical actions taken within those spaces (e.g., simplifying the problem, working backward). We first use SHAPE to analyze the reasoning patterns of various models. Our findings reveal that the mathematical heuristics employed by a model better explain final answer correctness than traditional CoT features. Furthermore, models are likely to reach correct solutions by concentrating their reasoning effort within a few semantic spaces rather than exploring many disparate ones -- a pattern consistent with human behavior. Next, we utilize the SHAPE lens to evaluate whether post-training truly enhances mathematical proficiency. We find that reinforcement learning induces mode-seeking in heuristic usage. Lastly, we post-train LLMs by promoting diverse heuristics and demonstrate its effectiveness in improving accuracy. Overall, SHAPE provides a theoretically-grounded diagnostic framework for decoding LLM reasoning and offers a new path toward post-training LLMs for math reasoning. The code for our model is available at https://github.com/holi-lab/SHAPE-of-CoT