Attention IoU : Analyse des biais dans CelebA à l'aide de cartes d'attention

Attention IoU: Examining Biases in CelebA using Attention Maps

March 25, 2025

Auteurs: Aaron Serianni, Tyler Zhu, Olga Russakovsky, Vikram V. Ramaswamy

cs.AI

Résumé

Les modèles de vision par ordinateur ont montré qu'ils manifestent et amplifient des biais à travers une grande variété de jeux de données et de tâches. Les méthodes existantes pour quantifier les biais dans les modèles de classification se concentrent principalement sur la distribution des données et la performance du modèle sur des sous-groupes, négligeant le fonctionnement interne du modèle. Nous introduisons la métrique Attention-IoU (Attention Intersection over Union) et les scores associés, qui utilisent des cartes d'attention pour révéler les biais dans les représentations internes d'un modèle et identifier les caractéristiques d'image potentiellement responsables de ces biais. Tout d'abord, nous validons Attention-IoU sur le jeu de données synthétique Waterbirds, montrant que la métrique mesure avec précision les biais du modèle. Nous analysons ensuite le jeu de données CelebA, constatant qu'Attention-IoU met en lumière des corrélations au-delà des disparités de précision. À travers une investigation des attributs individuels via l'attribut protégé "Male", nous examinons les différentes manières dont les biais sont représentés dans CelebA. Enfin, en sous-échantillonnant l'ensemble d'entraînement pour modifier les corrélations d'attributs, nous démontrons qu'Attention-IoU révèle des variables confondantes potentielles qui ne sont pas présentes dans les étiquettes du jeu de données.

English

Computer vision models have been shown to exhibit and amplify biases across a wide array of datasets and tasks. Existing methods for quantifying bias in classification models primarily focus on dataset distribution and model performance on subgroups, overlooking the internal workings of a model. We introduce the Attention-IoU (Attention Intersection over Union) metric and related scores, which use attention maps to reveal biases within a model's internal representations and identify image features potentially causing the biases. First, we validate Attention-IoU on the synthetic Waterbirds dataset, showing that the metric accurately measures model bias. We then analyze the CelebA dataset, finding that Attention-IoU uncovers correlations beyond accuracy disparities. Through an investigation of individual attributes through the protected attribute of Male, we examine the distinct ways biases are represented in CelebA. Lastly, by subsampling the training set to change attribute correlations, we demonstrate that Attention-IoU reveals potential confounding variables not present in dataset labels.