Konzeptgesteuertes Feinabstimmen: Lenkung von ViTs weg von Scheinkorrelationen zur Verbesserung der Robustheit
Concept-Guided Fine-Tuning: Steering ViTs away from Spurious Correlations to Improve Robustness
March 9, 2026
Autoren: Yehonatan Elisha, Oren Barkan, Noam Koenigstein
cs.AI
Zusammenfassung
Vision Transformer (ViTs) verschlechtern sich häufig unter Distributionsverschiebungen, da sie auf scheinbare Korrelationen wie Hintergrundmerkmale anstatt auf semantisch bedeutsame Merkmale angewiesen sind. Bestehende Regularisierungsmethoden, die typischerweise auf einfachen Vordergrund-Hintergrund-Masken basieren, erfassen nicht die feingranularen semantischen Konzepte, die ein Objekt definieren (z.B. „langer Schnabel“ und „Flügel“ für einen „Vogel“). Folglich bieten diese Methoden nur begrenzte Robustheit gegenüber Distributionsverschiebungen. Um diese Einschränkung zu adressieren, führen wir einen neuartigen Finetuning-Ansatz ein, der die Modellableitung auf konzeptuelle Semantik lenkt. Unser Ansatz optimiert die internen Relevanzkarten des Modells, um sie mit räumlich verankerten Konzeptmasken in Einklang zu bringen. Diese Masken werden automatisch ohne manuelle Annotation generiert: klassenrelevante Konzepte werden zunächst mittels einer LLM-basierten, etikettierungsfreien Methode vorgeschlagen und anschließend mit einem VLM segmentiert. Das Finetuning-Ziel richtet die Relevanz auf diese Konzeptregionen aus und unterdrückt gleichzeitig die Fokussierung auf irrelevante Hintergrundbereiche. Bemerkenswerterweise erfordert dieser Prozess nur einen minimalen Bildsatz und nutzt die Hälfte der Datensatzkategorien. Umfangreiche Experimente auf fünf Out-of-Distribution-Benchmarks zeigen, dass unsere Methode die Robustheit über mehrere ViT-basierte Modelle hinweg verbessert. Darüber hinaus demonstrieren wir, dass die resultierenden Relevanzkarten eine stärkere Übereinstimmung mit semantischen Objektteilen aufweisen und somit einen skalierbaren Weg zu robusteren und interpretierbaren Vision-Modellen eröffnen. Abschließend bestätigen wir, dass konzeptgesteuerte Masken eine effektivere Überwachung für Modellrobustheit bieten als konventionelle Segmentierungskarten, was unsere zentrale Hypothese stützt.
English
Vision Transformers (ViTs) often degrade under distribution shifts because they rely on spurious correlations, such as background cues, rather than semantically meaningful features. Existing regularization methods, typically relying on simple foreground-background masks, which fail to capture the fine-grained semantic concepts that define an object (e.g., ``long beak'' and ``wings'' for a ``bird''). As a result, these methods provide limited robustness to distribution shifts. To address this limitation, we introduce a novel finetuning framework that steers model reasoning toward concept-level semantics. Our approach optimizes the model's internal relevance maps to align with spatially grounded concept masks. These masks are generated automatically, without manual annotation: class-relevant concepts are first proposed using an LLM-based, label-free method, and then segmented using a VLM. The finetuning objective aligns relevance with these concept regions while simultaneously suppressing focus on spurious background areas. Notably, this process requires only a minimal set of images and uses half of the dataset classes. Extensive experiments on five out-of-distribution benchmarks demonstrate that our method improves robustness across multiple ViT-based models. Furthermore, we show that the resulting relevance maps exhibit stronger alignment with semantic object parts, offering a scalable path toward more robust and interpretable vision models. Finally, we confirm that concept-guided masks provide more effective supervision for model robustness than conventional segmentation maps, supporting our central hypothesis.