Über die Beziehung zwischen Darstellungsgeometrie und Generalisierung in tiefen neuronalen Netzen
On the Relationship Between Representation Geometry and Generalization in Deep Neural Networks
January 28, 2026
papers.authors: Sumit Yadav
cs.AI
papers.abstract
Wir untersuchen die Beziehung zwischen der Geometrie der Repräsentation und der Leistung neuronaler Netze. Durch die Analyse von 52 vortrainierten ImageNet-Modellen aus 13 Architekturfamilien zeigen wir, dass die effektive Dimension – eine unbeaufsichtigte geometrische Metrik – die Genauigkeit stark vorhersagt. Die effektive Dimension der Ausgabe erreicht eine partielle Korrelation von r=0,75 (p < 10^(-10)) nach Kontrolle der Modellkapazität, während die totale Kompression eine partielle Korrelation von r=-0,72 erreicht. Diese Ergebnisse replizieren sich über ImageNet und CIFAR-10 hinaus und generalisieren auf NLP: Die effektive Dimension sagt die Leistung für 8 Encoder-Modelle auf SST-2/MNLI (r=0,69, p=0,004) und für 15 Decoder-only-LLMs auf AG News vorher, während die Modellgröße dies nicht tut (r=0,07). Wir stellen eine bidirektionale Kausalität fest: Die Verschlechterung der Geometrie durch Rauschen führt zu einem Genauigkeitsverlust (r=-0,94, p < 10^(-9)), während die Verbesserung der Geometrie mittels PCA die Genauigkeit über Architekturen hinweg erhält (-0,03 Prozentpunkte bei 95 % Varianz). Diese Beziehung ist rauschtyp-unabhängig – Gaußsches, Gleichverteilungs-, Dropout- und Salz-und-Pfeffer-Rauschen zeigen alle |r| > 0,90. Diese Ergebnisse belegen, dass die effektive Dimension domainsübergreifend prädiktive und kausale Informationen über die Leistung neuronaler Netze liefert, die vollständig ohne Labels berechnet wird.
English
We investigate the relationship between representation geometry and neural network performance. Analyzing 52 pretrained ImageNet models across 13 architecture families, we show that effective dimension -- an unsupervised geometric metric -- strongly predicts accuracy. Output effective dimension achieves partial r=0.75 (p < 10^(-10)) after controlling for model capacity, while total compression achieves partial r=-0.72. These findings replicate across ImageNet and CIFAR-10, and generalize to NLP: effective dimension predicts performance for 8 encoder models on SST-2/MNLI and 15 decoder-only LLMs on AG News (r=0.69, p=0.004), while model size does not (r=0.07). We establish bidirectional causality: degrading geometry via noise causes accuracy loss (r=-0.94, p < 10^(-9)), while improving geometry via PCA maintains accuracy across architectures (-0.03pp at 95% variance). This relationship is noise-type agnostic -- Gaussian, Uniform, Dropout, and Salt-and-pepper noise all show |r| > 0.90. These results establish that effective dimension provides domain-agnostic predictive and causal information about neural network performance, computed entirely without labels.