Attention IoU: Исследование смещений в наборе данных CelebA с использованием карт внимания

Attention IoU: Examining Biases in CelebA using Attention Maps

March 25, 2025

Авторы: Aaron Serianni, Tyler Zhu, Olga Russakovsky, Vikram V. Ramaswamy

cs.AI

Аннотация

Модели компьютерного зрения демонстрируют и усиливают смещения в широком спектре наборов данных и задач. Существующие методы количественной оценки смещений в моделях классификации в основном сосредоточены на распределении данных и производительности модели на подгруппах, упуская из виду внутренние механизмы работы модели. Мы представляем метрику Attention-IoU (Attention Intersection over Union) и связанные с ней показатели, которые используют карты внимания для выявления смещений во внутренних представлениях модели и определения особенностей изображений, потенциально вызывающих эти смещения. Сначала мы проверяем Attention-IoU на синтетическом наборе данных Waterbirds, показывая, что метрика точно измеряет смещения модели. Затем мы анализируем набор данных CelebA, обнаруживая, что Attention-IoU выявляет корреляции, выходящие за рамки различий в точности. Исследуя отдельные атрибуты через защищенный атрибут "Мужчина", мы изучаем различные способы представления смещений в CelebA. Наконец, путем субдискретизации обучающего набора для изменения корреляций атрибутов мы демонстрируем, что Attention-IoU выявляет потенциальные смешивающие переменные, отсутствующие в метках набора данных.

English

Computer vision models have been shown to exhibit and amplify biases across a wide array of datasets and tasks. Existing methods for quantifying bias in classification models primarily focus on dataset distribution and model performance on subgroups, overlooking the internal workings of a model. We introduce the Attention-IoU (Attention Intersection over Union) metric and related scores, which use attention maps to reveal biases within a model's internal representations and identify image features potentially causing the biases. First, we validate Attention-IoU on the synthetic Waterbirds dataset, showing that the metric accurately measures model bias. We then analyze the CelebA dataset, finding that Attention-IoU uncovers correlations beyond accuracy disparities. Through an investigation of individual attributes through the protected attribute of Male, we examine the distinct ways biases are represented in CelebA. Lastly, by subsampling the training set to change attribute correlations, we demonstrate that Attention-IoU reveals potential confounding variables not present in dataset labels.