Sur le mécanisme et la dynamique de l'addition modulaire : caractéristiques de Fourier, billet gagnant et grokking
On the Mechanism and Dynamics of Modular Addition: Fourier Features, Lottery Ticket, and Grokking
February 18, 2026
papers.authors: Jianliang He, Leda Wang, Siyu Chen, Zhuoran Yang
cs.AI
papers.abstract
Nous présentons une analyse exhaustive de la manière dont les réseaux de neurones à deux couches apprennent des caractéristiques pour résoudre la tâche d'addition modulaire. Notre travail fournit une interprétation mécaniste complète du modèle appris et une explication théorique de sa dynamique d'apprentissage. Si les travaux antérieurs ont identifié que les neurones individuels apprennent des caractéristiques de Fourier à fréquence unique et un alignement de phase, ils n'expliquent pas entièrement comment ces caractéristiques se combinent pour former une solution globale. Nous comblons cette lacune en formalisant une condition de diversification qui émerge pendant l'entraînement en situation de surparamétrisation, composée de deux parties : une symétrie de phase et une diversification des fréquences. Nous prouvons que ces propriétés permettent au réseau d'approximer collectivement une fonction indicatrice imparfaite pour la logique correcte de la tâche d'addition modulaire. Bien que les neurones individuels produisent des signaux bruités, la symétrie de phase permet un système de vote majoritaire qui annule le bruit, permettant au réseau d'identifier robustement la somme correcte. De plus, nous expliquons l'émergence de ces caractéristiques sous une initialisation aléatoire via un mécanisme de billet gagnant. Notre analyse du flux de gradient prouve que les fréquences entrent en compétition au sein de chaque neurone, le « gagnant » étant déterminé par son amplitude spectrale initiale et son alignement de phase. D'un point de vue technique, nous fournissons une caractérisation rigoureuse de la dynamique de couplage de phase couche par couche et formalisons le paysage compétitif à l'aide du lemme de comparaison des EDO. Enfin, nous utilisons ces insights pour démystifier le phénomène de « grokking », en le caractérisant comme un processus en trois étapes impliquant une mémorisation suivie de deux phases de généralisation, pilotées par la compétition entre la minimisation de la perte et la décroissance des poids.
English
We present a comprehensive analysis of how two-layer neural networks learn features to solve the modular addition task. Our work provides a full mechanistic interpretation of the learned model and a theoretical explanation of its training dynamics. While prior work has identified that individual neurons learn single-frequency Fourier features and phase alignment, it does not fully explain how these features combine into a global solution. We bridge this gap by formalizing a diversification condition that emerges during training when overparametrized, consisting of two parts: phase symmetry and frequency diversification. We prove that these properties allow the network to collectively approximate a flawed indicator function on the correct logic for the modular addition task. While individual neurons produce noisy signals, the phase symmetry enables a majority-voting scheme that cancels out noise, allowing the network to robustly identify the correct sum. Furthermore, we explain the emergence of these features under random initialization via a lottery ticket mechanism. Our gradient flow analysis proves that frequencies compete within each neuron, with the "winner" determined by its initial spectral magnitude and phase alignment. From a technical standpoint, we provide a rigorous characterization of the layer-wise phase coupling dynamics and formalize the competitive landscape using the ODE comparison lemma. Finally, we use these insights to demystify grokking, characterizing it as a three-stage process involving memorization followed by two generalization phases, driven by the competition between loss minimization and weight decay.