Couche par couche, module par module : Choisir les deux pour une analyse OOD optimale des ViT
Layer by layer, module by module: Choose both for optimal OOD probing of ViT
March 5, 2026
Auteurs: Ambroise Odonnat, Vasilii Feofanov, Laetitia Chapel, Romain Tavenard, Ievgen Redko
cs.AI
Résumé
Des études récentes ont observé que les couches intermédiaires des modèles de fondation produisent souvent des représentations plus discriminantes que la couche finale. Bien que ce phénomène ait été initialement attribué au pré-entraînement autorégressif, il a également été identifié dans des modèles entraînés via des objectifs supervisés et d’auto-supervision discriminative. Dans cet article, nous menons une étude approfondie pour analyser le comportement des couches intermédiaires dans les transformeurs de vision pré-entraînés. Grâce à des expériences étendues de sondage linéaire sur un ensemble varié de benchmarks de classification d’images, nous constatons que le décalage de distribution entre les données de pré-entraînement et les données en aval est la cause principale de la dégradation des performances dans les couches plus profondes. De plus, nous réalisons une analyse fine au niveau des modules. Nos résultats révèlent que le sondage standard des sorties des blocs transformeurs est sous-optimal ; en revanche, sonder l’activation au sein du réseau feedforward donne les meilleures performances en cas de décalage de distribution important, tandis que la sortie normalisée du module d’auto-attention multi-têtes est optimale lorsque le décalage est faible.
English
Recent studies have observed that intermediate layers of foundation models often yield more discriminative representations than the final layer. While initially attributed to autoregressive pretraining, this phenomenon has also been identified in models trained via supervised and discriminative self-supervised objectives. In this paper, we conduct a comprehensive study to analyze the behavior of intermediate layers in pretrained vision transformers. Through extensive linear probing experiments across a diverse set of image classification benchmarks, we find that distribution shift between pretraining and downstream data is the primary cause of performance degradation in deeper layers. Furthermore, we perform a fine-grained analysis at the module level. Our findings reveal that standard probing of transformer block outputs is suboptimal; instead, probing the activation within the feedforward network yields the best performance under significant distribution shift, whereas the normalized output of the multi-head self-attention module is optimal when the shift is weak.