Attention IoU: Examinando Sesgos en CelebA utilizando Mapas de Atención

Attention IoU: Examining Biases in CelebA using Attention Maps

March 25, 2025

Autores: Aaron Serianni, Tyler Zhu, Olga Russakovsky, Vikram V. Ramaswamy

cs.AI

Resumen

Se ha demostrado que los modelos de visión por computadora exhiben y amplifican sesgos en una amplia variedad de conjuntos de datos y tareas. Los métodos existentes para cuantificar el sesgo en modelos de clasificación se centran principalmente en la distribución del conjunto de datos y el rendimiento del modelo en subgrupos, pasando por alto el funcionamiento interno del modelo. Introducimos la métrica Attention-IoU (Intersección sobre Unión de Atención) y puntuaciones relacionadas, que utilizan mapas de atención para revelar sesgos dentro de las representaciones internas de un modelo e identificar características de la imagen que podrían estar causando los sesgos. Primero, validamos Attention-IoU en el conjunto de datos sintético Waterbirds, mostrando que la métrica mide con precisión el sesgo del modelo. Luego analizamos el conjunto de datos CelebA, encontrando que Attention-IoU descubre correlaciones más allá de las disparidades en la precisión. A través de una investigación de atributos individuales utilizando el atributo protegido de "Hombre", examinamos las distintas formas en que los sesgos están representados en CelebA. Finalmente, al submuestrear el conjunto de entrenamiento para cambiar las correlaciones de atributos, demostramos que Attention-IoU revela posibles variables de confusión no presentes en las etiquetas del conjunto de datos.

English

Computer vision models have been shown to exhibit and amplify biases across a wide array of datasets and tasks. Existing methods for quantifying bias in classification models primarily focus on dataset distribution and model performance on subgroups, overlooking the internal workings of a model. We introduce the Attention-IoU (Attention Intersection over Union) metric and related scores, which use attention maps to reveal biases within a model's internal representations and identify image features potentially causing the biases. First, we validate Attention-IoU on the synthetic Waterbirds dataset, showing that the metric accurately measures model bias. We then analyze the CelebA dataset, finding that Attention-IoU uncovers correlations beyond accuracy disparities. Through an investigation of individual attributes through the protected attribute of Male, we examine the distinct ways biases are represented in CelebA. Lastly, by subsampling the training set to change attribute correlations, we demonstrate that Attention-IoU reveals potential confounding variables not present in dataset labels.