Attention IoU: 어텐션 맵을 활용한 CelebA 데이터셋의 편향성 분석

Attention IoU: Examining Biases in CelebA using Attention Maps

March 25, 2025

저자: Aaron Serianni, Tyler Zhu, Olga Russakovsky, Vikram V. Ramaswamy

cs.AI

초록

컴퓨터 비전 모델은 다양한 데이터셋과 작업에서 편향을 나타내고 이를 증폭시키는 것으로 나타났습니다. 기존의 분류 모델 편향 측정 방법은 주로 데이터셋 분포와 하위 그룹에 대한 모델 성능에 초점을 맞추며, 모델의 내부 작동 방식을 간과해 왔습니다. 우리는 Attention-IoU(Attention Intersection over Union) 메트릭과 관련 점수를 소개하며, 이는 어텐션 맵을 사용하여 모델의 내부 표현에 존재하는 편향을 드러내고 이러한 편향을 유발할 수 있는 이미지 특징을 식별합니다. 먼저, 합성 데이터셋인 Waterbirds에서 Attention-IoU를 검증하여 이 메트릭이 모델 편향을 정확히 측정함을 보여줍니다. 그런 다음 CelebA 데이터셋을 분석하여 Attention-IoU가 정확도 차이를 넘어선 상관관계를 발견함을 확인합니다. 'Male'이라는 보호 속성을 통해 개별 속성을 조사함으로써 CelebA에서 편향이 나타나는 다양한 방식을 살펴봅니다. 마지막으로, 훈련 세트를 하위 샘플링하여 속성 간 상관관계를 변경함으로써 Attention-IoU가 데이터셋 레이블에 존재하지 않는 잠재적인 혼란 변수를 드러낼 수 있음을 입증합니다.

English

Computer vision models have been shown to exhibit and amplify biases across a wide array of datasets and tasks. Existing methods for quantifying bias in classification models primarily focus on dataset distribution and model performance on subgroups, overlooking the internal workings of a model. We introduce the Attention-IoU (Attention Intersection over Union) metric and related scores, which use attention maps to reveal biases within a model's internal representations and identify image features potentially causing the biases. First, we validate Attention-IoU on the synthetic Waterbirds dataset, showing that the metric accurately measures model bias. We then analyze the CelebA dataset, finding that Attention-IoU uncovers correlations beyond accuracy disparities. Through an investigation of individual attributes through the protected attribute of Male, we examine the distinct ways biases are represented in CelebA. Lastly, by subsampling the training set to change attribute correlations, we demonstrate that Attention-IoU reveals potential confounding variables not present in dataset labels.