Over het Mechanisme en de Dynamiek van Modulaire Optelling: Fourier-kenmerken, Loterijticket en Grokking
On the Mechanism and Dynamics of Modular Addition: Fourier Features, Lottery Ticket, and Grokking
February 18, 2026
Auteurs: Jianliang He, Leda Wang, Siyu Chen, Zhuoran Yang
cs.AI
Samenvatting
Wij presenteren een uitgebreide analyse van hoe tweelaags neurale netwerken kenmerken aanleren om de modulaire opteltaak op te lossen. Ons werk biedt een volledige mechanistische interpretatie van het geleerde model en een theoretische verklaring voor de trainingsdynamiek. Hoewel eerder onderzoek heeft aangetoond dat individuele neuronen Fourier-kenmerken met één frequentie en fase-alignering aanleren, verklaart dit niet volledig hoe deze kenmerken zich combineren tot een globale oplossing. Wij overbruggen deze kloof door een diversificatievoorwaarde te formaliseren die tijdens de training ontstaat bij overparametrisering, bestaande uit twee delen: fasesymmetrie en frequentiediversificatie. Wij bewijzen dat deze eigenschappen het netwerk in staat stellen om gezamenlijk een gebrekkige indicatorfunctie te benaderen voor de correcte logica van de modulaire opteltaak. Hoewel individuele neuronen ruisige signalen produceren, stelt de fasesymmetrie een meerderheidsstemmingssysteem in staat om de ruis uit te doven, waardoor het netwerk robuust de correcte som kan identificeren. Verklaren wij het ontstaan van deze kenmerken onder willekeurige initialisatie via een loterijticketmechanisme. Onze gradiëntstroomanalyse bewijst dat frequenties binnen elk neuron met elkaar concurreren, waarbij de "winnaar" wordt bepaald door diens initiële spectrale magnitude en fase-alignering. Vanuit technisch oogpunt geven wij een rigoureuze karakterisering van de laaggewijze fasekoppelingsdynamiek en formaliseren wij het competitieve landschap met behulp van het ODE-vergelijkingslemma. Ten slotte gebruiken wij deze inzichten om grokking te ontraadselen, waarbij wij het karakteriseren als een drietrapsproces bestaande uit memorisatie gevolgd door twee generalisatiefasen, aangedreven door de competitie tussen verliesminimalisatie en gewichtsafname.
English
We present a comprehensive analysis of how two-layer neural networks learn features to solve the modular addition task. Our work provides a full mechanistic interpretation of the learned model and a theoretical explanation of its training dynamics. While prior work has identified that individual neurons learn single-frequency Fourier features and phase alignment, it does not fully explain how these features combine into a global solution. We bridge this gap by formalizing a diversification condition that emerges during training when overparametrized, consisting of two parts: phase symmetry and frequency diversification. We prove that these properties allow the network to collectively approximate a flawed indicator function on the correct logic for the modular addition task. While individual neurons produce noisy signals, the phase symmetry enables a majority-voting scheme that cancels out noise, allowing the network to robustly identify the correct sum. Furthermore, we explain the emergence of these features under random initialization via a lottery ticket mechanism. Our gradient flow analysis proves that frequencies compete within each neuron, with the "winner" determined by its initial spectral magnitude and phase alignment. From a technical standpoint, we provide a rigorous characterization of the layer-wise phase coupling dynamics and formalize the competitive landscape using the ODE comparison lemma. Finally, we use these insights to demystify grokking, characterizing it as a three-stage process involving memorization followed by two generalization phases, driven by the competition between loss minimization and weight decay.