대규모 계수 작업에 대한 LLM의 기계론적 해석 가능성: 시스템-2 전략을 통한 접근
Mechanistic Interpretability of Large-Scale Counting in LLMs through a System-2 Strategy
January 6, 2026
저자: Hosein Hasani, Mohammadali Banayeeanzade, Ali Nafisi, Sadegh Mohammadian, Fatemeh Askari, Mobin Bagherian, Amirmohammad Izadi, Mahdieh Soleymani Baghshah
cs.AI
초록
대규모 언어 모델(LLM)은 복잡한 수학 문제에서 강력한 성능을 보이지만, 계수 작업에서는 체계적인 한계를 보입니다. 이 문제는 트랜스포머의 아키텍처적 한계에서 비롯되며, 계수 작업이 여러 계층에 걸쳐 수행됨에 따라 깊이 제약으로 인해 큰 규모의 계수 문제에서 정확도가 저하됩니다. 이러한 한계를 해결하기 위해 우리는 System-2 인지 과정에서 영감을 받은 간단한 테스트 타임 전략을 제안합니다. 이 전략은 대규모 계수 작업을 모델이 안정적으로 해결할 수 있는 더 작고 독립적인 하위 문제로 분해합니다. 우리는 이 System-2 유사 전략의 작동 메커니즘을 이해하기 위해 관찰적 및 인과 매개 분석을 통해 이 접근법을 평가합니다. 우리의 메커니즘 분석은 핵심 구성 요소를 규명합니다: 잠재적 계수값이 각 부분의 최종 항목 표현에서 계산 및 저장되고, 전용 어텐션 헤드를 통해 중간 단계로 전달되며, 최종 단계에서 집계되어 총계를 산출합니다. 실험 결과는 이 전략이 LLM이 아키텍처적 한계를 극복하고 대규모 계수 작업에서 높은 정확도를 달성할 수 있게 함을 보여줍니다. 본 연구는 LLM의 System-2 계수에 대한 메커니즘적 통찰을 제공하고, 그 추론 행동을 개선하고 이해하기 위한 일반화 가능한 접근법을 제시합니다.
English
Large language models (LLMs), despite strong performance on complex mathematical problems, exhibit systematic limitations in counting tasks. This issue arises from architectural limits of transformers, where counting is performed across layers, leading to degraded precision for larger counting problems due to depth constraints. To address this limitation, we propose a simple test-time strategy inspired by System-2 cognitive processes that decomposes large counting tasks into smaller, independent sub-problems that the model can reliably solve. We evaluate this approach using observational and causal mediation analyses to understand the underlying mechanism of this System-2-like strategy. Our mechanistic analysis identifies key components: latent counts are computed and stored in the final item representations of each part, transferred to intermediate steps via dedicated attention heads, and aggregated in the final stage to produce the total count. Experimental results demonstrate that this strategy enables LLMs to surpass architectural limitations and achieve high accuracy on large-scale counting tasks. This work provides mechanistic insight into System-2 counting in LLMs and presents a generalizable approach for improving and understanding their reasoning behavior.