모듈러 덧셈의 메커즘과 역학: 푸리에 특성, 복권 티켓, 그리고 그로킹

On the Mechanism and Dynamics of Modular Addition: Fourier Features, Lottery Ticket, and Grokking

February 18, 2026

저자: Jianliang He, Leda Wang, Siyu Chen, Zhuoran Yang

cs.AI

초록

우리는 2층 신경망이 모듈러 덧셈 과제를 해결하기 위해 특징을 학습하는 방식을 종합적으로 분석한다. 본 연구는 학습된 모델에 대한 완전한 기계론적 해석과 그 훈련 역학에 대한 이론적 설명을 제공한다. 기존 연구에서는 개별 뉴런이 단일 주파수 푸리에 특징과 위상 정렬을 학습한다는 점을 확인했으나, 이러한 특징들이 어떻게 결합되어 전체적 해법을 구성하는지 완전히 설명하지는 못했다. 우리는 과매개화 상태에서 훈련 중 발생하는 다양화 조건을 위상 대칭과 주파수 다양화라는 두 부분으로 형식화하여 이러한 간극을 메운다. 우리는 이러한 특성들이 네트워크가 집단적으로 모듈러 덧셈 과제에 대한 올바른 논리를 따르는 결함 있는 지시 함수를 근사하도록 허용함을 증명한다. 개별 뉴런이 잡음이 섞인 신호를 생성하지만, 위상 대칭은 다수결 방식으로 잡음을 상쇄하여 네트워크가 올바른 합을 강건하게 식별할 수 있게 한다. 더 나아가, 무작위 초기화 하에서 이러한 특징이 출현하는 현상을 복권 추첨 메커니즘을 통해 설명한다. 우리의 경사 흐름 분석은 각 뉴런 내에서 주파수들이 경쟁하며, 초기 스펙트럼 크기와 위상 정렬에 의해 "승자"가 결정됨을 증명한다. 기술적 관점에서, 우리는 계층별 위상 결합 역학을 엄밀하게 규명하고 ODE 비교 보조정리를 사용하여 경쟁 구도를 형식화한다. 마지막으로, 이러한 통찰력을 활용하여 그로킹 현상을 해체하고, 이를 손실 최소화와 가중치 감쇠 간의 경쟁에 의해 추동되는 암기 단계와 두 차례의 일반화 단계로 구성된 3단계 과정으로 규정한다.

English

We present a comprehensive analysis of how two-layer neural networks learn features to solve the modular addition task. Our work provides a full mechanistic interpretation of the learned model and a theoretical explanation of its training dynamics. While prior work has identified that individual neurons learn single-frequency Fourier features and phase alignment, it does not fully explain how these features combine into a global solution. We bridge this gap by formalizing a diversification condition that emerges during training when overparametrized, consisting of two parts: phase symmetry and frequency diversification. We prove that these properties allow the network to collectively approximate a flawed indicator function on the correct logic for the modular addition task. While individual neurons produce noisy signals, the phase symmetry enables a majority-voting scheme that cancels out noise, allowing the network to robustly identify the correct sum. Furthermore, we explain the emergence of these features under random initialization via a lottery ticket mechanism. Our gradient flow analysis proves that frequencies compete within each neuron, with the "winner" determined by its initial spectral magnitude and phase alignment. From a technical standpoint, we provide a rigorous characterization of the layer-wise phase coupling dynamics and formalize the competitive landscape using the ODE comparison lemma. Finally, we use these insights to demystify grokking, characterizing it as a three-stage process involving memorization followed by two generalization phases, driven by the competition between loss minimization and weight decay.