О связи геометрии представлений и обобщающей способности глубоких нейронных сетей

On the Relationship Between Representation Geometry and Generalization in Deep Neural Networks

January 28, 2026

Авторы: Sumit Yadav

cs.AI

Аннотация

Мы исследуем взаимосвязь между геометрией представлений и производительностью нейронных сетей. Анализируя 52 предобученные модели ImageNet из 13 семейств архитектур, мы показываем, что эффективная размерность — неконтролируемая геометрическая метрика — сильно предсказывает точность. Эффективная размерность выходного слоя достигает частичного коэффициента корреляции r=0.75 (p < 10^(-10)) после контроля на ёмкость модели, в то время как общее сжатие дает частичный r=-0.72. Эти результаты воспроизводятся на ImageNet и CIFAR-10 и обобщаются на NLP: эффективная размерность предсказывает производительность для 8 моделей-энкодеров на SST-2/MNLI и 15 декодерных LLM на AG News (r=0.69, p=0.004), тогда как размер модели — нет (r=0.07). Мы устанавливаем двунаправленную причинность: ухудшение геометрии с помощью шума вызывает потерю точности (r=-0.94, p < 10^(-9)), тогда как улучшение геометрии с помощью PCA сохраняет точность across архитектур (-0.03 п.п. при 95% дисперсии). Эта взаимосвязь не зависит от типа шума — гауссовский, равномерный, дропаут и импульсный шум показывают |r| > 0.90. Эти результаты устанавливают, что эффективная размерность предоставляет доменно-независимую прогностическую и причинную информацию о производительности нейронных сетей, вычисляемую полностью без использования меток.

English

We investigate the relationship between representation geometry and neural network performance. Analyzing 52 pretrained ImageNet models across 13 architecture families, we show that effective dimension -- an unsupervised geometric metric -- strongly predicts accuracy. Output effective dimension achieves partial r=0.75 (p < 10^(-10)) after controlling for model capacity, while total compression achieves partial r=-0.72. These findings replicate across ImageNet and CIFAR-10, and generalize to NLP: effective dimension predicts performance for 8 encoder models on SST-2/MNLI and 15 decoder-only LLMs on AG News (r=0.69, p=0.004), while model size does not (r=0.07). We establish bidirectional causality: degrading geometry via noise causes accuracy loss (r=-0.94, p < 10^(-9)), while improving geometry via PCA maintains accuracy across architectures (-0.03pp at 95% variance). This relationship is noise-type agnostic -- Gaussian, Uniform, Dropout, and Salt-and-pepper noise all show |r| > 0.90. These results establish that effective dimension provides domain-agnostic predictive and causal information about neural network performance, computed entirely without labels.