Redes Neurais Aprendem Comprovadamente Representações Espectrais para Composição de Grupos

Resumo

Compreender como a estrutura interna estruturada emerge durante o treinamento de redes neurais é central para o estudo do aprendizado profundo. Investigamos esse fenômeno através da tarefa de composição de grupo, onde uma rede neural de duas camadas é treinada para prever \( g_1 \star g_2 \) para elementos de um grupo finito \( G \). Elevando o fluxo gradiente projetado ao domínio de Fourier, demonstramos que a dinâmica de treinamento é governada por uma ascensão gradiente Riemanniana em um funcional de energia da teoria de representação. Provamos que, sob inicialização aleatória, esse fluxo leva cada neurônio a convergir quase certamente para uma única representação irredutível, enquanto os coeficientes de Fourier entre camadas alcançam um alinhamento rotacional de posto um. Esse quadro fornece uma explicação baseada na teoria de representação para o aprendizado de características e caracteriza um novo fenômeno de compressão de posto baixo para representações de grupo com valores matriciais. Além disso, para grupos abelianos, fornecemos uma descrição completa ao nível da população: a inicialização aleatória promove uma diversificação uniforme entre representações não triviais e induz fases uniformes de Haar, aproximando conjuntamente o indicador por meio de um mecanismo de votação majoritária. Provamos ainda que tanto o alinhamento de fase quanto a competição de representação emergem com taxas de convergência exponencial.

English

Understanding how structured internal structure emerges during neural network training is central to the study of deep learning. We investigate this phenomenon through the group composition task, where a two-layer neural network is trained to predict g_1 star g_2 for elements of a finite group G. By lifting the projected gradient flow to the Fourier domain, we demonstrate that the training dynamics are governed by a Riemannian gradient ascent on a representation-theoretic energy functional. We prove that, under random initialization, this flow drives each neuron to converge almost surely toward a single irreducible representation, while the cross-layer Fourier coefficients achieve a rotational rank-one alignment. This framework provides a representation-theoretic account of feature learning and characterizes a novel low-rank compression phenomenon for matrix-valued group representations. Moreover, for Abelian groups, we provide a complete population-level description: random initialization promotes uniform diversification across nontrivial representations and induces Haar-uniform phases, jointly approximating the indicator via a majority-vote mechanism. We further prove that both phase alignment and representation competition emerge with exponential convergence rates.