Концептуально-ориентированное тонкое настройка: Направление Vision Transformer от ложных корреляций для повышения устойчивости

Concept-Guided Fine-Tuning: Steering ViTs away from Spurious Correlations to Improve Robustness

March 9, 2026

Авторы: Yehonatan Elisha, Oren Barkan, Noam Koenigstein

cs.AI

Аннотация

Трансформеры для компьютерного зрения (ViT) часто демонстрируют ухудшение работы при сдвигах распределения данных, поскольку они полагаются на ложные корреляции, такие как фоновые сигналы, а не на семантически значимые признаки. Существующие методы регуляризации, как правило, основаны на простых масках переднего плана и фона, которые не способны уловить тонкие семантические концепции, определяющие объект (например, «длинный клюв» и «крылья» для «птицы»). Как следствие, эти методы обеспечивают ограниченную устойчивость к сдвигам распределения. Чтобы устранить этот недостаток, мы представляем новую структуру дообучения, которая направляет рассуждения модели в сторону семантики на уровне концептов. Наш подход оптимизирует внутренние карты релевантности модели для их согласования с пространственно привязанными концептуальными масками. Эти маски генерируются автоматически, без ручной разметки: релевантные для класса концепты сначала предлагаются с помощью метода на основе БОМ, не требующего меток, а затем сегментируются с использованием ВОМ. Цель дообучения — согласовать релевантность с этими концептуальными областями, одновременно подавляя фокус на ложные фоновые участки. Примечательно, что этот процесс требует лишь минимального набора изображений и использует половину классов набора данных. Масштабные эксперименты на пяти эталонных тестах для данных с отличающимся распределением демонстрируют, что наш метод повышает устойчивость для нескольких моделей на основе ViT. Кроме того, мы показываем, что результирующие карты релевантности демонстрируют лучшее соответствие семантическим частям объекта, предлагая масштабируемый путь к созданию более устойчивых и интерпретируемых моделей компьютерного зрения. Наконец, мы подтверждаем, что концептуально-ориентированные маски обеспечивают более эффективный контроль для устойчивости модели по сравнению с традиционными картами сегментации, что подтверждает нашу центральную гипотезу.

English

Vision Transformers (ViTs) often degrade under distribution shifts because they rely on spurious correlations, such as background cues, rather than semantically meaningful features. Existing regularization methods, typically relying on simple foreground-background masks, which fail to capture the fine-grained semantic concepts that define an object (e.g., ``long beak'' and ``wings'' for a ``bird''). As a result, these methods provide limited robustness to distribution shifts. To address this limitation, we introduce a novel finetuning framework that steers model reasoning toward concept-level semantics. Our approach optimizes the model's internal relevance maps to align with spatially grounded concept masks. These masks are generated automatically, without manual annotation: class-relevant concepts are first proposed using an LLM-based, label-free method, and then segmented using a VLM. The finetuning objective aligns relevance with these concept regions while simultaneously suppressing focus on spurious background areas. Notably, this process requires only a minimal set of images and uses half of the dataset classes. Extensive experiments on five out-of-distribution benchmarks demonstrate that our method improves robustness across multiple ViT-based models. Furthermore, we show that the resulting relevance maps exhibit stronger alignment with semantic object parts, offering a scalable path toward more robust and interpretable vision models. Finally, we confirm that concept-guided masks provide more effective supervision for model robustness than conventional segmentation maps, supporting our central hypothesis.