О механизме и динамике модульного сложения: особенности Фурье, выигрышный билет и озарение

On the Mechanism and Dynamics of Modular Addition: Fourier Features, Lottery Ticket, and Grokking

February 18, 2026

Авторы: Jianliang He, Leda Wang, Siyu Chen, Zhuoran Yang

cs.AI

Аннотация

Мы представляем всесторонний анализ того, как двухслойные нейронные сети обучаются признакам для решения задачи модульного сложения. Наша работа предлагает полную механистическую интерпретацию обученной модели и теоретическое объяснение её динамики обучения. В то время как предыдущие исследования установили, что отдельные нейроны обучаются фурье-признакам с одной частотой и выравниванию фазы, они не дают полного объяснения того, как эти признаки объединяются в глобальное решение. Мы заполняем этот пробел, формализуя условие диверсификации, которое возникает в процессе обучения при перепараметризации и состоит из двух частей: фазовой симметрии и частотной диверсификации. Мы доказываем, что эти свойства позволяют сети коллективно аппроксимировать несовершенную индикаторную функцию для правильной логики задачи модульного сложения. Хотя отдельные нейроны производят зашумленные сигналы, фазовая симметрия позволяет использовать схему мажоритарного голосования, которая компенсирует шум, давая сети возможность надёжно определять правильную сумму. Кроме того, мы объясняем возникновение этих признаков при случайной инициализации через механизм "счастливого билета" (lottery ticket). Наш анализ градиентного потока доказывает, что частоты конкурируют внутри каждого нейрона, и "победитель" определяется его начальной спектральной величиной и выравниванием фазы. С технической точки зрения, мы даём строгую характеристику послойной динамики фазовой связи и формализуем конкурентный ландшафт, используя лемму сравнения ОДУ. Наконец, мы используем эти идеи, чтобы разгадать феномен "озарения" (grokking), охарактеризовав его как трёхстадийный процесс, включающий запоминание с последующими двумя фазами обобщения, движимыми конкуренцией между минимизацией потерь и decay-регуляризацией весов.

English

We present a comprehensive analysis of how two-layer neural networks learn features to solve the modular addition task. Our work provides a full mechanistic interpretation of the learned model and a theoretical explanation of its training dynamics. While prior work has identified that individual neurons learn single-frequency Fourier features and phase alignment, it does not fully explain how these features combine into a global solution. We bridge this gap by formalizing a diversification condition that emerges during training when overparametrized, consisting of two parts: phase symmetry and frequency diversification. We prove that these properties allow the network to collectively approximate a flawed indicator function on the correct logic for the modular addition task. While individual neurons produce noisy signals, the phase symmetry enables a majority-voting scheme that cancels out noise, allowing the network to robustly identify the correct sum. Furthermore, we explain the emergence of these features under random initialization via a lottery ticket mechanism. Our gradient flow analysis proves that frequencies compete within each neuron, with the "winner" determined by its initial spectral magnitude and phase alignment. From a technical standpoint, we provide a rigorous characterization of the layer-wise phase coupling dynamics and formalize the competitive landscape using the ODE comparison lemma. Finally, we use these insights to demystify grokking, characterizing it as a three-stage process involving memorization followed by two generalization phases, driven by the competition between loss minimization and weight decay.