モジュラー加算のメカニズムとダイナミクスについて：フーリエ特徴、ロッタリーチケット、およびグロッキング

On the Mechanism and Dynamics of Modular Addition: Fourier Features, Lottery Ticket, and Grokking

February 18, 2026

著者: Jianliang He, Leda Wang, Siyu Chen, Zhuoran Yang

cs.AI

要旨

本論文では、2層ニューラルネットワークが剰余加算タスクを解くために特徴量を学習する過程について、包括的な分析を提示する。我々の研究は、学習されたモデルの完全なメカニズム的解釈と、その訓練ダイナミクスの理論的説明を提供する。先行研究では個々のニューロンが単一周波数のフーリエ特徴と位相整合を学習することが示されてきたが、これらの特徴がどのように結合されて大域的な解を構成するかは完全には説明されていなかった。この隔たりを埋めるため、過剰パラメータ化条件下での訓練中に出現する「多様化条件」を定式化する。これは位相対称性と周波数多様化の二要素から構成される。我々は、これらの性質がネットワークに剰余加算タスクの正しい論理に関する不完全な指示関数を集合的に近似させることを証明する。個々のニューロンはノイズの多い信号を生成するが、位相対称性が多数決スキームを可能にし、ノイズが相殺されることで、ネットワークは頑健に正しい和を同定できる。さらに、ランダム初期化下でのこれらの特徴の出現を、抽選券メカニズムによって説明する。勾配流の分析により、各ニューロン内で周波数間の競合が生じ、初期のスペクトル強度と位相整合性によって「勝者」が決定されることを証明する。技術的観点からは、層ごとの位相結合ダイナミクスを厳密に特徴付け、ODE比較補題を用いて競合環境を形式化する。最後に、これらの知見を活用してグロッキング現象を解明し、損失最小化と重み減衰の競合に駆動された、記憶化とそれに続く二段階の一般化段階からなる三段階プロセスとして特徴付ける。

English

We present a comprehensive analysis of how two-layer neural networks learn features to solve the modular addition task. Our work provides a full mechanistic interpretation of the learned model and a theoretical explanation of its training dynamics. While prior work has identified that individual neurons learn single-frequency Fourier features and phase alignment, it does not fully explain how these features combine into a global solution. We bridge this gap by formalizing a diversification condition that emerges during training when overparametrized, consisting of two parts: phase symmetry and frequency diversification. We prove that these properties allow the network to collectively approximate a flawed indicator function on the correct logic for the modular addition task. While individual neurons produce noisy signals, the phase symmetry enables a majority-voting scheme that cancels out noise, allowing the network to robustly identify the correct sum. Furthermore, we explain the emergence of these features under random initialization via a lottery ticket mechanism. Our gradient flow analysis proves that frequencies compete within each neuron, with the "winner" determined by its initial spectral magnitude and phase alignment. From a technical standpoint, we provide a rigorous characterization of the layer-wise phase coupling dynamics and formalize the competitive landscape using the ODE comparison lemma. Finally, we use these insights to demystify grokking, characterizing it as a three-stage process involving memorization followed by two generalization phases, driven by the competition between loss minimization and weight decay.