Sulla Relazione tra Geometria della Rappresentazione e Generalizzazione nelle Reti Neurali Profonde

On the Relationship Between Representation Geometry and Generalization in Deep Neural Networks

January 28, 2026

Autori: Sumit Yadav

cs.AI

Abstract

Analizziamo la relazione tra geometria delle rappresentazioni e prestazioni delle reti neurali. Esaminando 52 modelli preaddestrati su ImageNet appartenenti a 13 famiglie architetturali, dimostriamo che la dimensione effettiva – una metrica geometrica non supervisionata – predice fortemente l'accuratezza. La dimensione effettiva degli output raggiunge un r parziale=0.75 (p < 10^(-10)) dopo aver controllato la capacità del modello, mentre la compressione totale raggiunge un r parziale=-0.72. Questi risultati si replicano su ImageNet e CIFAR-10 e si generalizzano all'NLP: la dimensione effettiva predice le prestazioni per 8 modelli encoder su SST-2/MNLI e 15 LLM decoder-only su AG News (r=0.69, p=0.004), mentre le dimensioni del modello non lo fanno (r=0.07). Stabiliamo una causalità bidirezionale: il degrado della geometria tramite rumore causa perdita di accuratezza (r=-0.94, p < 10^(-9)), mentre il miglioramento della geometria tramite PCA mantiene l'accuratezza attraverso le architetture (-0.03pp al 95% di varianza). Questa relazione è indipendente dal tipo di rumore – rumore Gaussiano, Uniforme, Dropout e Salt-and-pepper mostrano tutti |r| > 0.90. Questi risultati stabiliscono che la dimensione effettiva fornisce informazioni predittive e causali indipendenti dal dominio sulle prestazioni delle reti neurali, calcolate interamente senza etichette.

English

We investigate the relationship between representation geometry and neural network performance. Analyzing 52 pretrained ImageNet models across 13 architecture families, we show that effective dimension -- an unsupervised geometric metric -- strongly predicts accuracy. Output effective dimension achieves partial r=0.75 (p < 10^(-10)) after controlling for model capacity, while total compression achieves partial r=-0.72. These findings replicate across ImageNet and CIFAR-10, and generalize to NLP: effective dimension predicts performance for 8 encoder models on SST-2/MNLI and 15 decoder-only LLMs on AG News (r=0.69, p=0.004), while model size does not (r=0.07). We establish bidirectional causality: degrading geometry via noise causes accuracy loss (r=-0.94, p < 10^(-9)), while improving geometry via PCA maintains accuracy across architectures (-0.03pp at 95% variance). This relationship is noise-type agnostic -- Gaussian, Uniform, Dropout, and Salt-and-pepper noise all show |r| > 0.90. These results establish that effective dimension provides domain-agnostic predictive and causal information about neural network performance, computed entirely without labels.