Attention IoU: Examinando Vieses no CelebA Usando Mapas de Atenção

Attention IoU: Examining Biases in CelebA using Attention Maps

March 25, 2025

Autores: Aaron Serianni, Tyler Zhu, Olga Russakovsky, Vikram V. Ramaswamy

cs.AI

Resumo

Modelos de visão computacional têm demonstrado exibir e ampliar vieses em uma ampla variedade de conjuntos de dados e tarefas. Os métodos existentes para quantificar vieses em modelos de classificação focam principalmente na distribuição do conjunto de dados e no desempenho do modelo em subgrupos, negligenciando o funcionamento interno do modelo. Introduzimos a métrica Attention-IoU (Intersecção sobre União de Atenção) e escores relacionados, que utilizam mapas de atenção para revelar vieses nas representações internas de um modelo e identificar características das imagens que potencialmente causam esses vieses. Primeiro, validamos o Attention-IoU no conjunto de dados sintético Waterbirds, mostrando que a métrica mede com precisão o viés do modelo. Em seguida, analisamos o conjunto de dados CelebA, descobrindo que o Attention-IoU revela correlações além das disparidades de acurácia. Através de uma investigação de atributos individuais usando o atributo protegido "Masculino", examinamos as distintas maneiras pelas quais os vieses são representados no CelebA. Por fim, ao subamostrar o conjunto de treinamento para alterar as correlações de atributos, demonstramos que o Attention-IoU revela variáveis de confusão potenciais que não estão presentes nos rótulos do conjunto de dados.

English

Computer vision models have been shown to exhibit and amplify biases across a wide array of datasets and tasks. Existing methods for quantifying bias in classification models primarily focus on dataset distribution and model performance on subgroups, overlooking the internal workings of a model. We introduce the Attention-IoU (Attention Intersection over Union) metric and related scores, which use attention maps to reveal biases within a model's internal representations and identify image features potentially causing the biases. First, we validate Attention-IoU on the synthetic Waterbirds dataset, showing that the metric accurately measures model bias. We then analyze the CelebA dataset, finding that Attention-IoU uncovers correlations beyond accuracy disparities. Through an investigation of individual attributes through the protected attribute of Male, we examine the distinct ways biases are represented in CelebA. Lastly, by subsampling the training set to change attribute correlations, we demonstrate that Attention-IoU reveals potential confounding variables not present in dataset labels.