Interprétation mécaniste du comptage à grande échelle dans les LLM via une stratégie de type Système 2

Mechanistic Interpretability of Large-Scale Counting in LLMs through a System-2 Strategy

January 6, 2026

papers.authors: Hosein Hasani, Mohammadali Banayeeanzade, Ali Nafisi, Sadegh Mohammadian, Fatemeh Askari, Mobin Bagherian, Amirmohammad Izadi, Mahdieh Soleymani Baghshah

cs.AI

papers.abstract

Les grands modèles de langage (LLM), bien qu'excellant dans la résolution de problèmes mathématiques complexes, présentent des limitations systématiques dans les tâches de dénombrement. Ce problème découle des contraintes architecturales des transformateurs, où le comptage s'effectue à travers les couches, entraînant une perte de précision pour les grands dénombrements en raison des limites de profondeur. Pour pallier cette limitation, nous proposons une stratégie simple d'exécution, inspirée des processus cognitifs de type Système 2, qui décompose les grands dénombrements en sous-problèmes plus petits et indépendants que le modèle peut résoudre de manière fiable. Nous évaluons cette approche à l'aide d'analyses observationnelles et de médiation causale pour comprendre le mécanisme sous-jacent de cette stratégie analogue au Système 2. Notre analyse mécanistique identifie des composants clés : des comptes latents sont calculés et stockés dans les représentations finales de chaque élément, transférés vers les étapes intermédiaires via des têtes d'attention dédiées, puis agrégés à l'étape finale pour produire le dénombrement total. Les résultats expérimentaux démontrent que cette stratégie permet aux LLM de surpasser leurs limitations architecturales et d'atteindre une grande précision sur les tâches de dénombrement à grande échelle. Ce travail offre un éclairage mécanistique sur le comptage de type Système 2 dans les LLM et présente une approche généralisable pour améliorer et comprendre leur comportement raisonné.

English

Large language models (LLMs), despite strong performance on complex mathematical problems, exhibit systematic limitations in counting tasks. This issue arises from architectural limits of transformers, where counting is performed across layers, leading to degraded precision for larger counting problems due to depth constraints. To address this limitation, we propose a simple test-time strategy inspired by System-2 cognitive processes that decomposes large counting tasks into smaller, independent sub-problems that the model can reliably solve. We evaluate this approach using observational and causal mediation analyses to understand the underlying mechanism of this System-2-like strategy. Our mechanistic analysis identifies key components: latent counts are computed and stored in the final item representations of each part, transferred to intermediate steps via dedicated attention heads, and aggregated in the final stage to produce the total count. Experimental results demonstrate that this strategy enables LLMs to surpass architectural limitations and achieve high accuracy on large-scale counting tasks. This work provides mechanistic insight into System-2 counting in LLMs and presents a generalizable approach for improving and understanding their reasoning behavior.