Слой за слоем, модуль за модулем: оптимальное исследование OOD для ViT через комбинированный подход

Layer by layer, module by module: Choose both for optimal OOD probing of ViT

March 5, 2026

Авторы: Ambroise Odonnat, Vasilii Feofanov, Laetitia Chapel, Romain Tavenard, Ievgen Redko

cs.AI

Аннотация

Недавние исследования показали, что промежуточные слои базовых моделей часто формируют более дискриминативные представления, чем конечный слой. Хотя изначально это явление объясняли авторегрессионным предварительным обучением, оно также было выявлено в моделях, обученных с помощью контролируемых и дискриминативных самоконтролируемых задач. В данной работе мы проводим комплексное исследование для анализа поведения промежуточных слоев в предобученных трансформерах для компьютерного зрения. С помощью масштабных экспериментов с линейным probing на разнообразных бенчмарках классификации изображений мы обнаружили, что сдвиг распределения между данными предварительного обучения и целевыми данными является основной причиной деградации производительности в более глубоких слоях. Кроме того, мы выполняем детализированный анализ на уровне модулей. Наши результаты показывают, что стандартный probing выходов трансформерных блоков является субоптимальным: вместо этого probing активаций внутри feedforward-сети дает наилучшую производительность при значительном сдвиге распределения, тогда как нормализованный выход модуля многоголовой самоattention оказывается оптимальным при слабом сдвиге.

English

Recent studies have observed that intermediate layers of foundation models often yield more discriminative representations than the final layer. While initially attributed to autoregressive pretraining, this phenomenon has also been identified in models trained via supervised and discriminative self-supervised objectives. In this paper, we conduct a comprehensive study to analyze the behavior of intermediate layers in pretrained vision transformers. Through extensive linear probing experiments across a diverse set of image classification benchmarks, we find that distribution shift between pretraining and downstream data is the primary cause of performance degradation in deeper layers. Furthermore, we perform a fine-grained analysis at the module level. Our findings reveal that standard probing of transformer block outputs is suboptimal; instead, probing the activation within the feedforward network yields the best performance under significant distribution shift, whereas the normalized output of the multi-head self-attention module is optimal when the shift is weak.