L'Anatomie du Raisonnement Mathématique chez les Modèles de Langage par Schoenfeld

Schoenfeld's Anatomy of Mathematical Reasoning by Language Models

December 23, 2025

papers.authors: Ming Li, Chenrui Fan, Yize Cheng, Soheil Feizi, Tianyi Zhou

cs.AI

papers.abstract

Les grands modèles de langage exposent de plus en plus de traces de raisonnement, mais leur structure cognitive sous-jacente et leurs étapes restent difficiles à identifier et à analyser au-delà des statistiques superficielles. Nous adoptons la théorie des épisodes de Schoenfeld comme grille d'analyse inductive à échelle intermédiaire et introduisons ThinkARM (Anatomie du raisonnement dans les modèles), un cadre évolutif qui abstrait explicitement les traces de raisonnement en étapes fonctionnelles telles que l'Analyse, l'Exploration, la Mise en œuvre, la Vérification, etc. Appliquée à la résolution de problèmes mathématiques par divers modèles, cette abstraction révèle une dynamique de pensée reproductible et des différences structurelles entre modèles raisonneurs et non-raisonneurs, qui ne sont pas apparentes dans les vues au niveau des tokens. Nous présentons en outre deux études de cas diagnostiques montrant que l'exploration fonctionne comme une étape de branchement critique associée à la justesse des réponses, et que les méthodes axées sur l'efficacité suppriment sélectivement les étapes de rétroaction évaluative plutôt que de raccourcir uniformément les réponses. Ensemble, nos résultats démontrent que les représentations au niveau des épisodes rendent les étapes de raisonnement explicites, permettant une analyse systématique de la manière dont le raisonnement est structuré, stabilisé et altéré dans les modèles de langage modernes.

English

Large language models increasingly expose reasoning traces, yet their underlying cognitive structure and steps remain difficult to identify and analyze beyond surface-level statistics. We adopt Schoenfeld's Episode Theory as an inductive, intermediate-scale lens and introduce ThinkARM (Anatomy of Reasoning in Models), a scalable framework that explicitly abstracts reasoning traces into functional reasoning steps such as Analysis, Explore, Implement, Verify, etc. When applied to mathematical problem solving by diverse models, this abstraction reveals reproducible thinking dynamics and structural differences between reasoning and non-reasoning models, which are not apparent from token-level views. We further present two diagnostic case studies showing that exploration functions as a critical branching step associated with correctness, and that efficiency-oriented methods selectively suppress evaluative feedback steps rather than uniformly shortening responses. Together, our results demonstrate that episode-level representations make reasoning steps explicit, enabling systematic analysis of how reasoning is structured, stabilized, and altered in modern language models.