Les réseaux de neurones apprennent de manière prouvable des représentations spectrales pour la composition de groupe.

Résumé

Comprendre comment une structure interne organisée émerge au cours de l'entraînement des réseaux de neurones est essentiel à l'étude de l'apprentissage profond. Nous examinons ce phénomène à travers la tâche de composition de groupes, où un réseau de neurones à deux couches est entraîné à prédire \( g_1 \star g_2 \) pour des éléments d'un groupe fini \( G \). En relevant le flot gradient projeté dans le domaine de Fourier, nous montrons que la dynamique d'entraînement est régie par une ascension de gradient riemannienne sur une fonctionnelle d'énergie issue de la théorie des représentations. Nous prouvons que, sous initialisation aléatoire, ce flot conduit chaque neurone à converger presque sûrement vers une représentation irréductible unique, tandis que les coefficients de Fourier inter-couches atteignent un alignement rotationnel de rang un. Ce cadre offre une description, fondée sur la théorie des représentations, de l'apprentissage des caractéristiques et caractérise un nouveau phénomène de compression de bas rang pour les représentations de groupes à valeurs matricielles. De plus, pour les groupes abéliens, nous fournissons une description complète au niveau de la population : une initialisation aléatoire favorise une diversification uniforme entre les représentations non triviales et induit des phases uniformes selon la mesure de Haar, approchant conjointement l'indicateur via un mécanisme de vote majoritaire. Nous démontrons en outre que l'alignement des phases et la compétition entre représentations émergent avec des taux de convergence exponentiels.

English

Understanding how structured internal structure emerges during neural network training is central to the study of deep learning. We investigate this phenomenon through the group composition task, where a two-layer neural network is trained to predict g_1 star g_2 for elements of a finite group G. By lifting the projected gradient flow to the Fourier domain, we demonstrate that the training dynamics are governed by a Riemannian gradient ascent on a representation-theoretic energy functional. We prove that, under random initialization, this flow drives each neuron to converge almost surely toward a single irreducible representation, while the cross-layer Fourier coefficients achieve a rotational rank-one alignment. This framework provides a representation-theoretic account of feature learning and characterizes a novel low-rank compression phenomenon for matrix-valued group representations. Moreover, for Abelian groups, we provide a complete population-level description: random initialization promotes uniform diversification across nontrivial representations and induces Haar-uniform phases, jointly approximating the indicator via a majority-vote mechanism. We further prove that both phase alignment and representation competition emerge with exponential convergence rates.