Attention IoU: 注目マップを用いたCelebAデータセットのバイアス検証

Attention IoU: Examining Biases in CelebA using Attention Maps

March 25, 2025

著者: Aaron Serianni, Tyler Zhu, Olga Russakovsky, Vikram V. Ramaswamy

cs.AI

要旨

コンピュータビジョンモデルは、多様なデータセットやタスクにおいてバイアスを示し、増幅することが示されています。既存の分類モデルのバイアスを定量化する手法は、主にデータセットの分布とサブグループに対するモデルの性能に焦点を当てており、モデルの内部動作を見落としています。本研究では、Attention-IoU（Attention Intersection over Union）メトリックと関連スコアを導入し、アテンションマップを使用してモデルの内部表現におけるバイアスを明らかにし、バイアスの原因となる可能性のある画像特徴を特定します。まず、合成データセットであるWaterbirdsデータセットでAttention-IoUを検証し、このメトリックがモデルのバイアスを正確に測定することを示します。次に、CelebAデータセットを分析し、Attention-IoUが精度の差異を超えた相関関係を明らかにすることを確認します。保護属性である「男性」を通じて個々の属性を調査し、CelebAにおけるバイアスの表現方法の違いを検討します。最後に、訓練セットをサブサンプリングして属性間の相関を変化させることで、Attention-IoUがデータセットラベルに存在しない潜在的な交絡変数を明らかにすることを実証します。

English

Computer vision models have been shown to exhibit and amplify biases across a wide array of datasets and tasks. Existing methods for quantifying bias in classification models primarily focus on dataset distribution and model performance on subgroups, overlooking the internal workings of a model. We introduce the Attention-IoU (Attention Intersection over Union) metric and related scores, which use attention maps to reveal biases within a model's internal representations and identify image features potentially causing the biases. First, we validate Attention-IoU on the synthetic Waterbirds dataset, showing that the metric accurately measures model bias. We then analyze the CelebA dataset, finding that Attention-IoU uncovers correlations beyond accuracy disparities. Through an investigation of individual attributes through the protected attribute of Male, we examine the distinct ways biases are represented in CelebA. Lastly, by subsampling the training set to change attribute correlations, we demonstrate that Attention-IoU reveals potential confounding variables not present in dataset labels.