Inhärent treue Aufmerksamkeitskarten für Vision-Transformer

Inherently Faithful Attention Maps for Vision Transformers

June 10, 2025

Autoren: Ananthu Aniraj, Cassio F. Dantas, Dino Ienco, Diego Marcos

cs.AI

Zusammenfassung

Wir stellen eine auf Aufmerksamkeit basierende Methode vor, die gelernte binäre Aufmerksamkeitsmasken verwendet, um sicherzustellen, dass nur die beachteten Bildregionen die Vorhersage beeinflussen. Kontext kann die Objektwahrnehmung stark beeinflussen, was manchmal zu verzerrten Darstellungen führt, insbesondere wenn Objekte in Hintergründen außerhalb der Verteilung erscheinen. Gleichzeitig erfordern viele bildbezogene, objektzentrierte Aufgaben die Identifizierung relevanter Regionen, was oft Kontext benötigt. Um dieses Dilemma zu lösen, schlagen wir ein zweistufiges Framework vor: Stufe 1 verarbeitet das gesamte Bild, um Objektteile zu entdecken und aufgabenrelevante Regionen zu identifizieren, während Stufe 2 Eingabe-Aufmerksamkeitsmaskierung nutzt, um ihr rezeptives Feld auf diese Regionen zu beschränken. Dies ermöglicht eine fokussierte Analyse, während potenziell irreführende Informationen herausgefiltert werden. Beide Stufen werden gemeinsam trainiert, sodass Stufe 2 Stufe 1 verfeinern kann. Umfangreiche Experimente über diverse Benchmarks zeigen, dass unser Ansatz die Robustheit gegen irreführende Korrelationen und Hintergründe außerhalb der Verteilung signifikant verbessert.

English

We introduce an attention-based method that uses learned binary attention masks to ensure that only attended image regions influence the prediction. Context can strongly affect object perception, sometimes leading to biased representations, particularly when objects appear in out-of-distribution backgrounds. At the same time, many image-level object-centric tasks require identifying relevant regions, often requiring context. To address this conundrum, we propose a two-stage framework: stage 1 processes the full image to discover object parts and identify task-relevant regions, while stage 2 leverages input attention masking to restrict its receptive field to these regions, enabling a focused analysis while filtering out potentially spurious information. Both stages are trained jointly, allowing stage 2 to refine stage 1. Extensive experiments across diverse benchmarks demonstrate that our approach significantly improves robustness against spurious correlations and out-of-distribution backgrounds.