신경망이 그룹 구성에 대한 스펙트럴 표현을 증명 가능하게 학습함

초록

신경망 훈련 중 구조화된 내부 구조가 어떻게 나타나는지 이해하는 것은 딥러닝 연구의 핵심이다. 우리는 유한군 \(G\)의 원소 \(g_1\)과 \(g_2\)에 대해 \(g_1 * g_2\)를 예측하도록 훈련된 두 층 신경망을 통해 이 현상을 군 합성 과제를 통해 조사한다. 투영된 경사 흐름을 푸리에 영역으로 끌어올림으로써, 훈련 동역학이 표현 이론적 에너지 범함수에 대한 리만 경사 상승에 의해 지배됨을 보인다. 무작위 초기화 하에서 이 흐름이 각 뉴런을 거의 확실히 단일 기약 표현으로 수렴하도록 유도하며, 교차층 푸리에 계수는 회전적 랭크-1 정렬을 달성함을 증명한다. 이 프레임워크는 특징 학습에 대한 표현 이론적 설명을 제공하고, 행렬 값 군 표현에 대한 새로운 저랭크 압축 현상을 특징짓는다. 또한, 아벨 군의 경우 완전한 모집단 수준의 설명을 제시한다: 무작위 초기화는 비자명 표현 전반에 걸쳐 균일한 다양화를 촉진하고 하르 균일 위상을 유도하며, 다수결 메커니즘을 통해 지시 함수를 공동으로 근사한다. 나아가 위상 정렬과 표현 경쟁이 모두 지수적 수렴 속도로 나타남을 증명한다.

English

Understanding how structured internal structure emerges during neural network training is central to the study of deep learning. We investigate this phenomenon through the group composition task, where a two-layer neural network is trained to predict g_1 star g_2 for elements of a finite group G. By lifting the projected gradient flow to the Fourier domain, we demonstrate that the training dynamics are governed by a Riemannian gradient ascent on a representation-theoretic energy functional. We prove that, under random initialization, this flow drives each neuron to converge almost surely toward a single irreducible representation, while the cross-layer Fourier coefficients achieve a rotational rank-one alignment. This framework provides a representation-theoretic account of feature learning and characterizes a novel low-rank compression phenomenon for matrix-valued group representations. Moreover, for Abelian groups, we provide a complete population-level description: random initialization promotes uniform diversification across nontrivial representations and induces Haar-uniform phases, jointly approximating the indicator via a majority-vote mechanism. We further prove that both phase alignment and representation competition emerge with exponential convergence rates.