ContextBias：テキストから画像を生成するモデルにおける文脈シフト下でのバイアス持続性の統制評価

要旨

テキストから画像を生成するモデルは、概念と視覚的属性の間の関連付けを学習する。本論文における概念とは、人々の職業、すなわち我々が役割と呼ぶものである。これらの関連付けは、観察されるさまざまなステレオタイプ的バイアスの根底にある可能性がある。この分野における重要な未解決問題は、職業的役割を担う人々の視覚的表現が、プロンプトによって指定された異なる文脈に置かれたときに、これらの関連付けが安定であるか、それとも変化するかである。我々は、役割に結びついた視覚的表現に対する文脈的変動の影響を分離するために設計された、統制評価フレームワークであるContextBiasと、92の役割と1,656の意味的に統制されたプロンプトを網羅するベンチマークであるContextBenchを導入する。4つの最先端モデルを66,240枚の生成画像にわたって評価した結果、役割を意味的に無関係な文脈に置いても、役割に結びついた属性は抑制されず、むしろ役割横断的な属性の集中度が増加することがわかった（プールしたBI +0.047）。人口統計学的な手がかり、特徴的な衣服、役割固有の道具は、文脈なし条件、関連文脈条件、無関連文脈条件のいずれでも高い頻度で見られ、プロンプトの意味的な言い換えに対しても頑健である。シーン構成とカメラのフレーミングは、最も大きな文脈敏感性を示した。これらの発見は、文脈なし評価ではほとんど可視化されないステレオタイプの持続性の一形態を明らかにし、バイアスのベンチマーク評価における統制された文脈的変動の必要性を強調するものである。コードとデータセット: https://huggingface.co/datasets/shaghayegh/ContextBias、https://github.com/Sina-Emami/ContextBias

English

Text-to-image models learn associations between concepts - in the case of this paper, people's professions, which we refer to as roles - and visual attributes. These associations can underpin many observed forms of stereotypical bias. A key open question in this area is whether these associations are stable or change when visual representations of people in professional roles are placed in different prompted contexts. We introduce ContextBias, a controlled evaluation framework, and ContextBench, a benchmark spanning 92 roles and 1,656 semantically controlled prompts, designed to isolate the effect of contextual variation on role-linked visual representations. Evaluating four state-of-the-art models on 66,240 generated images, we find that placing a role in a semantically unrelated context does not suppress role-linked attributes; instead, cross-role attribute concentration increases (pooled BI +0.047). Demographic cues, characteristic garments, and role-specific tools remain highly prevalent across context-free, related, and unrelated conditions, and are robust to semantic prompt reformulation. Scene composition and camera framing show the greatest context-sensitivity. These findings reveal a form of stereotypical persistence that remains largely invisible to context-free evaluations, highlighting the need for controlled contextual variation in bias benchmarking. Code and dataset: https://huggingface.co/datasets/shaghayegh/ContextBias , https://github.com/Sina-Emami/ContextBias