MineTheGap: テキストから画像生成モデルにおけるバイアスの自動検出

要旨

Text-to-Image（TTI）モデルは、テキストプロンプトに基づいて画像を生成するが、プロンプトは所望の画像の特定の側面を曖昧にすることが多い。このような曖昧さに直面した場合、TTIモデルは解釈においてバイアスを示すことが実証されている。これらのバイアスは、例えば特定の職業に対して特定の人種のみを表示する場合など、社会的影響を及ぼしうる。また、多様な可能性を網羅する代わりに生成画像セット内で冗長性が生じる場合、ユーザー体験にも影響を与える。本論文では、TTIモデルに偏った出力を生成させるプロンプトを自動的に発掘する手法「MineTheGap」を提案する。本手法は、単に所与のプロンプトにおけるバイアスを検出するだけでなく、遺伝的アルゴリズムを活用してプロンプトのプールを反復的に改良し、バイアスを露呈するプロンプトを探索する。この最適化プロセスは、既知のバイアスを含むデータセットで検証したように、バイアスの深刻度に基づいてランク付けする新規のバイアススコアによって駆動される。所与のプロンプトに対して、このスコアは生成画像の分布と、プロンプトのバリエーションを構成するLLM生成テキストの分布を比較することで得られる。コードと例はプロジェクトWebページで公開されている。

English

Text-to-Image (TTI) models generate images based on text prompts, which often leave certain aspects of the desired image ambiguous. When faced with these ambiguities, TTI models have been shown to exhibit biases in their interpretations. These biases can have societal impacts, e.g., when showing only a certain race for a stated occupation. They can also affect user experience when creating redundancy within a set of generated images instead of spanning diverse possibilities. Here, we introduce MineTheGap - a method for automatically mining prompts that cause a TTI model to generate biased outputs. Our method goes beyond merely detecting bias for a given prompt. Rather, it leverages a genetic algorithm to iteratively refine a pool of prompts, seeking for those that expose biases. This optimization process is driven by a novel bias score, which ranks biases according to their severity, as we validate on a dataset with known biases. For a given prompt, this score is obtained by comparing the distribution of generated images to the distribution of LLM-generated texts that constitute variations on the prompt. Code and examples are available on the project's webpage.

MineTheGap: テキストから画像生成モデルにおけるバイアスの自動検出

MineTheGap: Automatic Mining of Biases in Text-to-Image Models

要旨

Support