Über den Mechanismus und die Dynamik modularer Addition: Fourier-Merkmale, Lottery Tickets und Grokking

On the Mechanism and Dynamics of Modular Addition: Fourier Features, Lottery Ticket, and Grokking

February 18, 2026

papers.authors: Jianliang He, Leda Wang, Siyu Chen, Zhuoran Yang

cs.AI

papers.abstract

Wir präsentieren eine umfassende Analyse darüber, wie zweischichtige neuronale Netze Merkmale erlernen, um die Aufgabe der modularen Addition zu lösen. Unsere Arbeit liefert eine vollständige mechanistische Interpretation des gelernten Modells und eine theoretische Erklärung seiner Trainingsdynamik. Während frühere Arbeiten festgestellt haben, dass einzelne Neuronen Fourier-Merkmale einzelner Frequenzen und Phasenausrichtung erlernen, erklären sie nicht vollständig, wie sich diese Merkmale zu einer globalen Lösung kombinieren. Wir schließen diese Lücke, indem wir eine Diversifikationsbedingung formalisieren, die während des Trainings bei Überparametrisierung entsteht und aus zwei Teilen besteht: Phasensymmetrie und Frequenzdiversifikation. Wir beweisen, dass diese Eigenschaften es dem Netzwerk ermöglichen, kollektiv eine fehlerhafte Indikatorfunktion für die korrekte Logik der modularen Addition zu approximieren. Während einzelne Neuronen verrauschte Signale erzeugen, ermöglicht die Phasensymmetrie ein Mehrheitsentscheidungsverfahren, das das Rauschen auslöscht, sodass das Netzwerk die korrekte Summe robust identifizieren kann. Darüber hinaus erklären wir die Entstehung dieser Merkmale unter zufälliger Initialisierung durch einen Lottery-Ticket-Mechanismus. Unsere Gradientenflussanalyse beweist, dass Frequenzen innerhalb jedes Neurons konkurrieren, wobei der "Gewinner" durch seine anfängliche spektrale Größe und Phasenausrichtung bestimmt wird. Aus technischer Sicht liefern wir eine rigorose Charakterisierung der schichtweisen Phasenkopplungsdynamik und formalisieren die Wettbewerbslandschaft unter Verwendung des ODE-Vergleichslemmas. Schließlich nutzen wir diese Erkenntnisse, um das Grokking zu entmystifizieren, und charakterisieren es als einen dreistufigen Prozess, der Memorisierung gefolgt von zwei Generalisierungsphasen umfasst und durch den Wettbewerb zwischen Verlustminimierung und Gewichtsabnahme angetrieben wird.

English

We present a comprehensive analysis of how two-layer neural networks learn features to solve the modular addition task. Our work provides a full mechanistic interpretation of the learned model and a theoretical explanation of its training dynamics. While prior work has identified that individual neurons learn single-frequency Fourier features and phase alignment, it does not fully explain how these features combine into a global solution. We bridge this gap by formalizing a diversification condition that emerges during training when overparametrized, consisting of two parts: phase symmetry and frequency diversification. We prove that these properties allow the network to collectively approximate a flawed indicator function on the correct logic for the modular addition task. While individual neurons produce noisy signals, the phase symmetry enables a majority-voting scheme that cancels out noise, allowing the network to robustly identify the correct sum. Furthermore, we explain the emergence of these features under random initialization via a lottery ticket mechanism. Our gradient flow analysis proves that frequencies compete within each neuron, with the "winner" determined by its initial spectral magnitude and phase alignment. From a technical standpoint, we provide a rigorous characterization of the layer-wise phase coupling dynamics and formalize the competitive landscape using the ODE comparison lemma. Finally, we use these insights to demystify grokking, characterizing it as a three-stage process involving memorization followed by two generalization phases, driven by the competition between loss minimization and weight decay.