数学的推論におけるChain-of-Thought（連鎖思考）の形状

要旨

大規模言語モデル（LLM）は数学的推論ベンチマークにおいて高い性能を達成しているが、その推論の根底にある数学的に意味のあるスキルは十分に探求されていない。我々は、数学教育において発展してきた2つのレンズを通して思考連鎖（Chain-of-Thought, CoT）の軌跡を分析するフレームワークSHAPEを導入する。(1) 意味空間：問題に対するモデルの変化していく数学的解釈（例：代数的、幾何学的）、(2) ヒューリスティクス：それらの空間内で取られる具体的な数学的アクション（例：問題の単純化、逆方向からの検討）。まずSHAPEを用いて様々なモデルの推論パターンを分析する。その結果、モデルが用いる数学的ヒューリスティクスは、従来のCoT特徴量よりも最終回答の正しさをよく説明することが明らかになった。さらに、モデルは多くの異なる意味空間を探索するよりも、少数の意味空間に推論の労力を集中させることで正解に到達する傾向がある。これは人間の行動と一致するパターンである。次に、SHAPEのレンズを用いて、ポストトレーニングが数学的熟達度を真に向上させるかどうかを評価する。強化学習はヒューリスティクスの使用においてモード探索を誘発することが分かった。最後に、多様なヒューリスティクスを促進することによりLLMをポストトレーニングし、精度向上におけるその有効性を示す。全体として、SHAPEはLLMの推論を解読するための理論に基づいた診断フレームワークを提供し、数学的推論のためのLLMのポストトレーニングへの新たな道を提供する。本モデルのコードは https://github.com/holi-lab/SHAPE-of-CoT で公開されている。

English

Large language models (LLMs) achieve strong performance on mathematical reasoning benchmarks, yet the mathematically meaningful skills underlying their reasoning remain underexplored. We introduce SHAPE, a framework that analyzes Chain-of-Thought (CoT) trajectories through two lenses developed in mathematics education: (1) semantic spaces: the model's evolving mathematical interpretations of a problem (e.g., algebraic, geometric), and (2) heuristics: the specific mathematical actions taken within those spaces (e.g., simplifying the problem, working backward). We first use SHAPE to analyze the reasoning patterns of various models. Our findings reveal that the mathematical heuristics employed by a model better explain final answer correctness than traditional CoT features. Furthermore, models are likely to reach correct solutions by concentrating their reasoning effort within a few semantic spaces rather than exploring many disparate ones -- a pattern consistent with human behavior. Next, we utilize the SHAPE lens to evaluate whether post-training truly enhances mathematical proficiency. We find that reinforcement learning induces mode-seeking in heuristic usage. Lastly, we post-train LLMs by promoting diverse heuristics and demonstrate its effectiveness in improving accuracy. Overall, SHAPE provides a theoretically-grounded diagnostic framework for decoding LLM reasoning and offers a new path toward post-training LLMs for math reasoning. The code for our model is available at https://github.com/holi-lab/SHAPE-of-CoT