深層ニューラルネットワークにおける表現幾何学と汎化性能の関係性について

On the Relationship Between Representation Geometry and Generalization in Deep Neural Networks

January 28, 2026

著者: Sumit Yadav

cs.AI

要旨

我々は、表現の幾何学的構造とニューラルネットワークの性能との関係を調査する。13のアーキテクチャファミリーに属する52の事前学習済みImageNetモデルを分析し、教師なしの幾何学的指標である有効次元が精度を強く予測することを示す。モデル容量を統制後、出力有効次元は偏相関係数r=0.75（p < 10^(-10)）を示し、総圧縮率は偏相関係数r=-0.72を示した。これらの知見はImageNetとCIFAR-10で再現され、NLPへ一般化される：有効次元は、SST-2/MNLIにおける8つのエンコーダモデル、AG Newsにおける15のデコーダのみのLLMの性能を予測し（r=0.69, p=0.004）、一方でモデルサイズは予測しない（r=0.07）。双方向の因果関係を確立する：ノイズによる幾何学的構造の劣化は精度低下を引き起こし（r=-0.94, p < 10^(-9)）、PCAによる幾何学的構造の改善はアーキテクチャ間で精度を維持する（分散95%時-0.03pp）。この関係はノイズの種類に依存しない——ガウスノイズ、一様ノイズ、ドロップアウト、塩胡椒ノイズの全てが|r| > 0.90を示す。これらの結果は、有効次元がラベルを一切用いずに計算され、ニューラルネットワーク性能に関するドメイン非依存的な予測情報と因果情報を提供することを示す。

English

We investigate the relationship between representation geometry and neural network performance. Analyzing 52 pretrained ImageNet models across 13 architecture families, we show that effective dimension -- an unsupervised geometric metric -- strongly predicts accuracy. Output effective dimension achieves partial r=0.75 (p < 10^(-10)) after controlling for model capacity, while total compression achieves partial r=-0.72. These findings replicate across ImageNet and CIFAR-10, and generalize to NLP: effective dimension predicts performance for 8 encoder models on SST-2/MNLI and 15 decoder-only LLMs on AG News (r=0.69, p=0.004), while model size does not (r=0.07). We establish bidirectional causality: degrading geometry via noise causes accuracy loss (r=-0.94, p < 10^(-9)), while improving geometry via PCA maintains accuracy across architectures (-0.03pp at 95% variance). This relationship is noise-type agnostic -- Gaussian, Uniform, Dropout, and Salt-and-pepper noise all show |r| > 0.90. These results establish that effective dimension provides domain-agnostic predictive and causal information about neural network performance, computed entirely without labels.