Fine-Tuning Guidato dal Concetto: Indirizzare i ViT Lontano dalle Correlazioni Spurie per Migliorare la Robustezza
Concept-Guided Fine-Tuning: Steering ViTs away from Spurious Correlations to Improve Robustness
March 9, 2026
Autori: Yehonatan Elisha, Oren Barkan, Noam Koenigstein
cs.AI
Abstract
I Vision Transformer (ViT) spesso si degradano in presenza di cambiamenti nella distribuzione dei dati perché si basano su correlazioni spurie, come gli indizi contestuali dello sfondo, piuttosto che su caratteristiche semanticamente significative. I metodi di regolarizzazione esistenti, che tipicamente si affidano a semplici maschere primo piano-sfondo, non riescono a catturare i concetti semantici granulari che definiscono un oggetto (ad esempio, "becco lungo" e "ali" per un "uccello"). Di conseguenza, questi metodi offrono una robustezza limitata ai cambiamenti distribuzionali. Per affrontare questa limitazione, introduciamo un nuovo framework di fine-tuning che indirizza il ragionamento del modello verso la semantica a livello di concetto. Il nostro approccio ottimizza le mappe di rilevanza interne del modello per allinearle a maschere concettuali georeferenziate spazialmente. Queste maschere sono generate automaticamente, senza annotazione manuale: i concetti rilevanti per la classe vengono prima proposti utilizzando un metodo basato su LLM e senza etichette, e poi segmentati utilizzando un VLM. L'obiettivo del fine-tuning allinea la rilevanza con queste regioni concettuali sopprimendo simultaneamente l'attenzione sulle aree spurie dello sfondo. Notevolmente, questo processo richiede solo un set minimo di immagini e utilizza la metà delle classi del dataset. Esperimenti estesi su cinque benchmark di out-of-distribution dimostrano che il nostro metodo migliora la robustezza in molteplici modelli basati su ViT. Inoltre, mostriamo che le mappe di rilevanza risultanti presentano un allineamento più forte con le parti semantiche dell'oggetto, offrendo un percorso scalabile verso modelli visivi più robusti e interpretabili. Infine, confermiamo che le maschere guidate dai concetti forniscono una supervisione più efficace per la robustezza del modello rispetto alle mappe di segmentazione convenzionali, supportando la nostra ipotesi centrale.
English
Vision Transformers (ViTs) often degrade under distribution shifts because they rely on spurious correlations, such as background cues, rather than semantically meaningful features. Existing regularization methods, typically relying on simple foreground-background masks, which fail to capture the fine-grained semantic concepts that define an object (e.g., ``long beak'' and ``wings'' for a ``bird''). As a result, these methods provide limited robustness to distribution shifts. To address this limitation, we introduce a novel finetuning framework that steers model reasoning toward concept-level semantics. Our approach optimizes the model's internal relevance maps to align with spatially grounded concept masks. These masks are generated automatically, without manual annotation: class-relevant concepts are first proposed using an LLM-based, label-free method, and then segmented using a VLM. The finetuning objective aligns relevance with these concept regions while simultaneously suppressing focus on spurious background areas. Notably, this process requires only a minimal set of images and uses half of the dataset classes. Extensive experiments on five out-of-distribution benchmarks demonstrate that our method improves robustness across multiple ViT-based models. Furthermore, we show that the resulting relevance maps exhibit stronger alignment with semantic object parts, offering a scalable path toward more robust and interpretable vision models. Finally, we confirm that concept-guided masks provide more effective supervision for model robustness than conventional segmentation maps, supporting our central hypothesis.