Schicht für Schicht, Modul für Modul: Die Kombination für optimale OOD-Diagnostik von ViT

Layer by layer, module by module: Choose both for optimal OOD probing of ViT

March 5, 2026

Autoren: Ambroise Odonnat, Vasilii Feofanov, Laetitia Chapel, Romain Tavenard, Ievgen Redko

cs.AI

Zusammenfassung

Jüngste Studien haben beobachtet, dass Zwischenschichten von Foundation-Modellen oft diskriminativere Repräsentationen liefern als die letzte Schicht. Während dieses Phänomen ursprünglich autoregressivem Pre-Training zugeschrieben wurde, wurde es auch bei Modellen identifiziert, die mit überwachten und diskriminativen selbstüberwachten Zielen trainiert wurden. In dieser Arbeit führen wir eine umfassende Studie durch, um das Verhalten von Zwischenschichten in vortrainierten Vision-Transformern zu analysieren. Durch umfangreiche Linear-Probing-Experimente mit einer Vielzahl von Bildklassifizierungs-Benchmarks stellen wir fest, dass eine Verteilungsverschiebung zwischen den Pre-Training- und den Downstream-Daten die Hauptursache für den Leistungsabfall in tieferen Schichten ist. Darüber hinaus führen wir eine feinkörnige Analyse auf Modulebene durch. Unsere Ergebnisse zeigen, dass das Standard-Probing der Transformer-Block-Ausgaben suboptimal ist; stattdessen erzielt das Untersuchen der Aktivierung innerhalb des Feedforward-Netzwerks die beste Leistung bei signifikanter Verteilungsverschiebung, wohingegen die normalisierte Ausgabe des Multi-Head-Self-Attention-Moduls optimal ist, wenn die Verschiebung schwach ist.

English

Recent studies have observed that intermediate layers of foundation models often yield more discriminative representations than the final layer. While initially attributed to autoregressive pretraining, this phenomenon has also been identified in models trained via supervised and discriminative self-supervised objectives. In this paper, we conduct a comprehensive study to analyze the behavior of intermediate layers in pretrained vision transformers. Through extensive linear probing experiments across a diverse set of image classification benchmarks, we find that distribution shift between pretraining and downstream data is the primary cause of performance degradation in deeper layers. Furthermore, we perform a fine-grained analysis at the module level. Our findings reveal that standard probing of transformer block outputs is suboptimal; instead, probing the activation within the feedforward network yields the best performance under significant distribution shift, whereas the normalized output of the multi-head self-attention module is optimal when the shift is weak.