Ajustement fin guidé par les concepts : Orienter les ViTs loin des corrélations fallacieuses pour améliorer la robustesse
Concept-Guided Fine-Tuning: Steering ViTs away from Spurious Correlations to Improve Robustness
March 9, 2026
Auteurs: Yehonatan Elisha, Oren Barkan, Noam Koenigstein
cs.AI
Résumé
Les Vision Transformers (ViT) se dégradent souvent face à des changements de distribution car elles s'appuient sur des corrélations fallacieuses, comme des indices contextuels, plutôt que sur des caractéristiques sémantiquement significatives. Les méthodes de régularisation existantes, qui reposent généralement sur des masques simples premier-plan/arrière-plan, échouent à capturer les concepts sémantiques fins qui définissent un objet (par exemple, un « long bec » et des « ailes » pour un « oiseau »). Par conséquent, ces méthodes offrent une robustesse limitée aux changements de distribution. Pour remédier à cette limitation, nous introduisons un nouveau cadre de *finetuning* qui oriente le raisonnement du modèle vers la sémantique au niveau conceptuel. Notre approche optimise les cartes de pertinence internes du modèle pour les aligner avec des masques conceptuels spatialement ancrés. Ces masques sont générés automatiquement, sans annotation manuelle : les concepts pertinents pour une classe sont d'abord proposés à l'aide d'une méthode basée sur un LLM et sans étiquette, puis segmentés à l'aide d'un VLM. L'objectif du *finetuning* est d'aligner la pertinence avec ces régions conceptuelles tout en supprimant simultanément l'accent sur les zones contextuelles fallacieuses. Notamment, ce processus ne nécessite qu'un ensemble minimal d'images et utilise la moitié des classes du jeu de données. Des expériences approfondies sur cinq benchmarks hors-distribution démontrent que notre méthode améliore la robustesse sur plusieurs modèles basés sur ViT. De plus, nous montrons que les cartes de pertinence résultantes présentent un alignement plus fort avec les parties sémantiques des objets, offrant une voie évolutive vers des modèles de vision plus robustes et interprétables. Enfin, nous confirmons que les masques guidés par les concepts fournissent une supervision plus efficace pour la robustesse des modèles que les cartes de segmentation conventionnelles, étayant notre hypothèse centrale.
English
Vision Transformers (ViTs) often degrade under distribution shifts because they rely on spurious correlations, such as background cues, rather than semantically meaningful features. Existing regularization methods, typically relying on simple foreground-background masks, which fail to capture the fine-grained semantic concepts that define an object (e.g., ``long beak'' and ``wings'' for a ``bird''). As a result, these methods provide limited robustness to distribution shifts. To address this limitation, we introduce a novel finetuning framework that steers model reasoning toward concept-level semantics. Our approach optimizes the model's internal relevance maps to align with spatially grounded concept masks. These masks are generated automatically, without manual annotation: class-relevant concepts are first proposed using an LLM-based, label-free method, and then segmented using a VLM. The finetuning objective aligns relevance with these concept regions while simultaneously suppressing focus on spurious background areas. Notably, this process requires only a minimal set of images and uses half of the dataset classes. Extensive experiments on five out-of-distribution benchmarks demonstrate that our method improves robustness across multiple ViT-based models. Furthermore, we show that the resulting relevance maps exhibit stronger alignment with semantic object parts, offering a scalable path toward more robust and interpretable vision models. Finally, we confirm that concept-guided masks provide more effective supervision for model robustness than conventional segmentation maps, supporting our central hypothesis.