ニューラルネットワークは群の合成に対するスペクトル表現を証明可能に学習する

要旨

ニューラルネットワーク訓練中に構造化された内部表現がどのように出現するかを理解することは、深層学習研究の中心課題である。本研究では、有限群Gの元に対してg_1★g_2を予測するよう訓練された2層ニューラルネットワークを通じて、この現象を群合成課題において調査する。射影勾配流をフーリエ領域に持ち上げることで、訓練力学が表現論的なエネルギー汎関数に関するリーマン勾配上昇法によって支配されることを示す。ランダム初期化の下で、この流れが各ニューロンをほぼ確実に単一の既約表現へと収束させ、一方で層間フーリエ係数が回転的なランク1整列を達成することを証明する。本枠組みは特徴学習の表現論的説明を提供し、行列値群表現に対する新たな低ランク圧縮現象を特徴づける。さらに、アーベル群に対しては完全な母集団レベルの記述を与える：ランダム初期化は非自明な表現全体にわたる一様な多様化を促進し、Haar一様位相を誘導し、多数決メカニズムを通じてインジケータを共同近似する。位相整列と表現競合がいずれも指数収束率で出現することをさらに証明する。

English

Understanding how structured internal structure emerges during neural network training is central to the study of deep learning. We investigate this phenomenon through the group composition task, where a two-layer neural network is trained to predict g_1 star g_2 for elements of a finite group G. By lifting the projected gradient flow to the Fourier domain, we demonstrate that the training dynamics are governed by a Riemannian gradient ascent on a representation-theoretic energy functional. We prove that, under random initialization, this flow drives each neuron to converge almost surely toward a single irreducible representation, while the cross-layer Fourier coefficients achieve a rotational rank-one alignment. This framework provides a representation-theoretic account of feature learning and characterizes a novel low-rank compression phenomenon for matrix-valued group representations. Moreover, for Abelian groups, we provide a complete population-level description: random initialization promotes uniform diversification across nontrivial representations and induces Haar-uniform phases, jointly approximating the indicator via a majority-vote mechanism. We further prove that both phase alignment and representation competition emerge with exponential convergence rates.