Sul Meccanismo e la Dinamica dell'Addizione Modulare: Caratteristiche di Fourier, Biglietto Vincente e Grokking
On the Mechanism and Dynamics of Modular Addition: Fourier Features, Lottery Ticket, and Grokking
February 18, 2026
Autori: Jianliang He, Leda Wang, Siyu Chen, Zhuoran Yang
cs.AI
Abstract
Presentiamo un'analisi completa di come le reti neurali a due strati apprendono feature per risolvere il compito dell'addizione modulare. Il nostro lavoro fornisce un'interpretazione meccanicistica completa del modello appreso e una spiegazione teorica della sua dinamica di addestramento. Sebbene lavori precedenti abbiano identificato che singoli neuroni apprendono feature di Fourier a singola frequenza e un allineamento di fase, ciò non spiega completamente come queste feature si combinino in una soluzione globale. Colmiamo questa lacuna formalizzando una condizione di diversificazione che emerge durante l'addestramento in condizioni di sovraparametrizzazione, composta da due parti: simmetria di fase e diversificazione in frequenza. Dimostriamo che queste proprietà permettono alla rete di approssimare collettivamente una funzione indicatrice imperfetta per la logica corretta del task di addizione modulare. Sebbene i singoli neuroni producano segnali rumorosi, la simmetria di fase abilita uno schema di voto a maggioranza che annulla il rumore, consentendo alla rete di identificare robustamente la somma corretta. Inoltre, spieghiamo l'emergere di queste feature sotto inizializzazione casuale attraverso un meccanismo di tipo "biglietto della lotteria". La nostra analisi del flusso del gradiente dimostra che le frequenze competono all'interno di ogni neurone, con il "vincitore" determinato dalla sua magnitudine spettrale iniziale e dall'allineamento di fase. Da un punto di vista tecnico, forniamo una caratterizzazione rigorosa della dinamica di accoppiamento di fase strato per strato e formalizziamo il panorama competitivo utilizzando il lemma di confronto per ODE. Infine, utilizziamo queste intuizioni per chiarire il fenomeno del "grokking", caratterizzandolo come un processo in tre fasi che coinvolge la memorizzazione seguita da due fasi di generalizzazione, guidate dalla competizione tra minimizzazione della loss e decadimento dei pesi.
English
We present a comprehensive analysis of how two-layer neural networks learn features to solve the modular addition task. Our work provides a full mechanistic interpretation of the learned model and a theoretical explanation of its training dynamics. While prior work has identified that individual neurons learn single-frequency Fourier features and phase alignment, it does not fully explain how these features combine into a global solution. We bridge this gap by formalizing a diversification condition that emerges during training when overparametrized, consisting of two parts: phase symmetry and frequency diversification. We prove that these properties allow the network to collectively approximate a flawed indicator function on the correct logic for the modular addition task. While individual neurons produce noisy signals, the phase symmetry enables a majority-voting scheme that cancels out noise, allowing the network to robustly identify the correct sum. Furthermore, we explain the emergence of these features under random initialization via a lottery ticket mechanism. Our gradient flow analysis proves that frequencies compete within each neuron, with the "winner" determined by its initial spectral magnitude and phase alignment. From a technical standpoint, we provide a rigorous characterization of the layer-wise phase coupling dynamics and formalize the competitive landscape using the ODE comparison lemma. Finally, we use these insights to demystify grokking, characterizing it as a three-stage process involving memorization followed by two generalization phases, driven by the competition between loss minimization and weight decay.