Mapas de Atención Intrínsecamente Fieles para Transformadores de Visión

Inherently Faithful Attention Maps for Vision Transformers

June 10, 2025

Autores: Ananthu Aniraj, Cassio F. Dantas, Dino Ienco, Diego Marcos

cs.AI

Resumen

Presentamos un método basado en atención que utiliza máscaras de atención binarias aprendidas para garantizar que solo las regiones de la imagen atendidas influyan en la predicción. El contexto puede afectar fuertemente la percepción de objetos, a veces llevando a representaciones sesgadas, particularmente cuando los objetos aparecen en fondos fuera de distribución. Al mismo tiempo, muchas tareas a nivel de imagen centradas en objetos requieren identificar regiones relevantes, lo que a menudo exige contexto. Para abordar este dilema, proponemos un marco de dos etapas: la etapa 1 procesa la imagen completa para descubrir partes del objeto e identificar regiones relevantes para la tarea, mientras que la etapa 2 aprovecha el enmascaramiento de atención en la entrada para restringir su campo receptivo a estas regiones, permitiendo un análisis enfocado mientras filtra información potencialmente espuria. Ambas etapas se entrenan conjuntamente, lo que permite que la etapa 2 refine la etapa 1. Experimentos extensos en diversos benchmarks demuestran que nuestro enfoque mejora significativamente la robustez frente a correlaciones espurias y fondos fuera de distribución.

English

We introduce an attention-based method that uses learned binary attention masks to ensure that only attended image regions influence the prediction. Context can strongly affect object perception, sometimes leading to biased representations, particularly when objects appear in out-of-distribution backgrounds. At the same time, many image-level object-centric tasks require identifying relevant regions, often requiring context. To address this conundrum, we propose a two-stage framework: stage 1 processes the full image to discover object parts and identify task-relevant regions, while stage 2 leverages input attention masking to restrict its receptive field to these regions, enabling a focused analysis while filtering out potentially spurious information. Both stages are trained jointly, allowing stage 2 to refine stage 1. Extensive experiments across diverse benchmarks demonstrate that our approach significantly improves robustness against spurious correlations and out-of-distribution backgrounds.