整合されているがステレオタイプ的か？LVLMベースのテキスト生成画像モデルにおける社会バイアスに対するシステムプロンプトの隠れた影響

Aligned but Stereotypical? The Hidden Influence of System Prompts on Social Bias in LVLM-Based Text-to-Image Models

December 4, 2025

著者: NaHyeon Park, Namin An, Kunhee Kim, Soyeon Yoon, Jiahao Huo, Hyunjung Shim

cs.AI

要旨

大規模視覚言語モデル（LVLM）に基づくテキストから画像への変換（T2I）システムは、画像生成における主要なパラダイムとなっているが、社会的バイアスを増幅するかどうかは十分に解明されていない。本論文では、LVLMベースのモデルが非LVLMベースのモデルよりも顕著に社会的バイアスを含む画像を生成することを示す。4段階の言語的複雑さにわたる1,024のプロンプトからなるベンチマークを導入し、複数の属性にわたる人口統計的バイアスを体系的に評価する。我々の分析により、LVLMを誘導する事前定義された指示であるシステムプロンプトが、バイアス行動の主要な要因であると特定した。復号化された中間表現、トークン確率診断、埋め込み連想分析を通じて、システムプロンプトが画像合成に伝播する人口統計的事前分布をどのように符号化するかを明らかにする。この目的のために、LVLMが自己監査を行い、テスト時に公平性を意識したシステムプロンプトを構築することを可能にする、訓練不要のメタプロンプトフレームワークであるFairProを提案する。2つのLVLMベースT2Iモデル（SANAおよびQwen-Image）での実験により、FairProがテキストと画像の整合性を維持しつつ、人口統計的バイアスを大幅に低減することを示す。我々の発見が、バイアス伝播におけるシステムプロンプトの中心的な役割に関する深い洞察を提供し、より社会的に責任あるT2Iシステムを構築するための実用的かつ展開可能なアプローチを提供すると信じる。

English

Large vision-language model (LVLM) based text-to-image (T2I) systems have become the dominant paradigm in image generation, yet whether they amplify social biases remains insufficiently understood. In this paper, we show that LVLM-based models produce markedly more socially biased images than non-LVLM-based models. We introduce a 1,024 prompt benchmark spanning four levels of linguistic complexity and evaluate demographic bias across multiple attributes in a systematic manner. Our analysis identifies system prompts, the predefined instructions guiding LVLMs, as a primary driver of biased behavior. Through decoded intermediate representations, token-probability diagnostics, and embedding-association analyses, we reveal how system prompts encode demographic priors that propagate into image synthesis. To this end, we propose FairPro, a training-free meta-prompting framework that enables LVLMs to self-audit and construct fairness-aware system prompts at test time. Experiments on two LVLM-based T2I models, SANA and Qwen-Image, show that FairPro substantially reduces demographic bias while preserving text-image alignment. We believe our findings provide deeper insight into the central role of system prompts in bias propagation and offer a practical, deployable approach for building more socially responsible T2I systems.