Concept-Gestuurde Fine-Tuning: Het Sturen van ViTs Weg van Valse Correlaties om Robuustheid te Verbeteren
Concept-Guided Fine-Tuning: Steering ViTs away from Spurious Correlations to Improve Robustness
March 9, 2026
Auteurs: Yehonatan Elisha, Oren Barkan, Noam Koenigstein
cs.AI
Samenvatting
Vision Transformers (ViTs) vertonen vaak prestatieverlies bij distributieverschuivingen omdat ze vertrouwen op valse correlaties, zoals achtergrondkenmerken, in plaats van semantisch betekenisvolle kenmerken. Bestaande regularisatiemethoden, die doorgaans gebruikmaken van eenvoudige voor- en achtergrondmaskers, slagen er niet in om de fijnmazige semantische concepten vast te leggen die een object definiëren (bijvoorbeeld "lange snavel" en "vleugels" voor een "vogel"). Hierdoor bieden deze methoden beperkte robuustheid tegen distributieverschuivingen. Om deze beperking aan te pakken, introduceren we een nieuw finetuning-framework dat modelredenering stuurt naar semantiek op conceptniveau. Onze aanpak optimaliseert de interne relevantiekaarten van het model om deze af te stemmen op ruimtelijk verankerde conceptmaskers. Deze maskers worden automatisch gegenereerd, zonder handmatige annotatie: klasse-relevante concepten worden eerst voorgesteld met behulp van een LLM-gebaseerde, labelvrije methode, en vervolgens gesegmenteerd met een VLM. Het finetuning-doel streeft naar afstemming van de relevantie met deze conceptregio's, terwijl tegelijkertijd de focus op valse achtergrondgebieden wordt onderdrukt. Opmerkelijk is dat dit proces slechts een minimale set afbeeldingen vereist en de helft van de datasetklassen gebruikt. Uitgebreide experimenten op vijf out-of-distribution benchmarks tonen aan dat onze methode de robuustheid verbetert voor meerdere ViT-gebaseerde modellen. Verder laten we zien dat de resulterende relevantiekaarten een sterkere afstemming vertonen met semantische objectonderdelen, wat een schaalbare weg biedt naar robuustere en interpreteerbare vision-modellen. Tot slot bevestigen we dat door concepten gestuurde maskers effectievere supervisie bieden voor modelrobuustheid dan conventionele segmentatiekaarten, wat onze centrale hypothese ondersteunt.
English
Vision Transformers (ViTs) often degrade under distribution shifts because they rely on spurious correlations, such as background cues, rather than semantically meaningful features. Existing regularization methods, typically relying on simple foreground-background masks, which fail to capture the fine-grained semantic concepts that define an object (e.g., ``long beak'' and ``wings'' for a ``bird''). As a result, these methods provide limited robustness to distribution shifts. To address this limitation, we introduce a novel finetuning framework that steers model reasoning toward concept-level semantics. Our approach optimizes the model's internal relevance maps to align with spatially grounded concept masks. These masks are generated automatically, without manual annotation: class-relevant concepts are first proposed using an LLM-based, label-free method, and then segmented using a VLM. The finetuning objective aligns relevance with these concept regions while simultaneously suppressing focus on spurious background areas. Notably, this process requires only a minimal set of images and uses half of the dataset classes. Extensive experiments on five out-of-distribution benchmarks demonstrate that our method improves robustness across multiple ViT-based models. Furthermore, we show that the resulting relevance maps exhibit stronger alignment with semantic object parts, offering a scalable path toward more robust and interpretable vision models. Finally, we confirm that concept-guided masks provide more effective supervision for model robustness than conventional segmentation maps, supporting our central hypothesis.