Neurale netwerken leren aantoonbaar spectrale representaties voor groepscompositie.

Samenvatting

Het begrijpen van hoe gestructureerde interne structuur ontstaat tijdens neurale netwerktraining staat centraal in de studie van diep leren. We onderzoeken dit fenomeen via de groepscompositietaak, waarbij een tweelaags neuraal netwerk wordt getraind om g_1 * g_2 te voorspellen voor elementen van een eindige groep G. Door de geprojecteerde gradiëntstroom naar het Fourierdomein te tillen, tonen we aan dat de trainingsdynamiek wordt beheerst door een Riemanniaanse gradiëntstijging op een representatietheoretische energiefunctionaal. We bewijzen dat, onder willekeurige initialisatie, deze stroom elke neuron bijna zeker naar een enkele irreducibele representatie drijft, terwijl de kruislaag Fouriercoëfficiënten een rotationele rang-één-uitlijning bereiken. Dit raamwerk biedt een representatietheoretische verklaring van feature learning en karakteriseert een nieuw laagrangcompressieverschijnsel voor matrixwaardige groepsrepresentaties. Bovendien geven we voor Abelse groepen een volledige populatiebeschrijving: willekeurige initialisatie bevordert uniforme diversificatie over niet-triviale representaties en induceert Haar-uniforme fasen, die gezamenlijk de indicator benaderen via een meerderheidsstemmechanisme. We bewijzen verder dat zowel fase-uitlijning als representatiecompetitie optreden met exponentiële convergentiesnelheden.

English

Understanding how structured internal structure emerges during neural network training is central to the study of deep learning. We investigate this phenomenon through the group composition task, where a two-layer neural network is trained to predict g_1 star g_2 for elements of a finite group G. By lifting the projected gradient flow to the Fourier domain, we demonstrate that the training dynamics are governed by a Riemannian gradient ascent on a representation-theoretic energy functional. We prove that, under random initialization, this flow drives each neuron to converge almost surely toward a single irreducible representation, while the cross-layer Fourier coefficients achieve a rotational rank-one alignment. This framework provides a representation-theoretic account of feature learning and characterizes a novel low-rank compression phenomenon for matrix-valued group representations. Moreover, for Abelian groups, we provide a complete population-level description: random initialization promotes uniform diversification across nontrivial representations and induces Haar-uniform phases, jointly approximating the indicator via a majority-vote mechanism. We further prove that both phase alignment and representation competition emerge with exponential convergence rates.