Uitgelijnd maar stereotiep? De verborgen invloed van systeemprompts op sociale vooroordelen in LVLM-gebaseerde tekst-naar-beeldmodellen
Aligned but Stereotypical? The Hidden Influence of System Prompts on Social Bias in LVLM-Based Text-to-Image Models
December 4, 2025
Auteurs: NaHyeon Park, Namin An, Kunhee Kim, Soyeon Yoon, Jiahao Huo, Hyunjung Shim
cs.AI
Samenvatting
Grote visie-taalmodellen (LVLM's) vormen de basis van het huidige dominante paradigma voor tekst-naar-beeldgeneratie (T2I), maar de vraag of zij sociale vooroordelen versterken, is nog onvoldoende onderzocht. In dit artikel tonen we aan dat op LVLM's gebaseerde modellen aanzienlijk meer sociaal bevooroordeelde beelden produceren dan modellen die niet op LVLM's zijn gebaseerd. Wij introduceren een benchmark van 1.024 prompts, verdeeld over vier niveaus van linguïstische complexiteit, en evalueren demografische bias op een systematische manier voor meerdere attributen. Onze analyse identificeert systeemprompts – de vooraf gedefinieerde instructies die LVLM's sturen – als een primaire aanjager van bevooroordeeld gedrag. Via gedecodeerde tussentijdse representaties, diagnostiek van token-waarschijnlijkheden en embedding-associatieanalyses onthullen we hoe systeemprompts demografische aannames coderen die doorwerken in de beeldgeneratie. Hiertoe stellen we FairPro voor, een trainingsvrij meta-prompting raamwerk dat LVLM's in staat stelt om zichzelf te auditen en fairness-bewuste systeemprompts te construeren tijdens het testen. Experimenten met twee op LVLM's gebaseerde T2I-modellen, SANA en Qwen-Image, tonen aan dat FairPro de demografische bias aanzienlijk vermindert, terwijl de tekst-beeldovereenstemming behouden blijft. Wij zijn van mening dat onze bevindingen een dieper inzicht bieden in de centrale rol van systeemprompts bij de overdracht van bias en een praktische, direct inzetbare aanreiking bieden voor het ontwikkelen van sociaal verantwoordelijkere T2I-systemen.
English
Large vision-language model (LVLM) based text-to-image (T2I) systems have become the dominant paradigm in image generation, yet whether they amplify social biases remains insufficiently understood. In this paper, we show that LVLM-based models produce markedly more socially biased images than non-LVLM-based models. We introduce a 1,024 prompt benchmark spanning four levels of linguistic complexity and evaluate demographic bias across multiple attributes in a systematic manner. Our analysis identifies system prompts, the predefined instructions guiding LVLMs, as a primary driver of biased behavior. Through decoded intermediate representations, token-probability diagnostics, and embedding-association analyses, we reveal how system prompts encode demographic priors that propagate into image synthesis. To this end, we propose FairPro, a training-free meta-prompting framework that enables LVLMs to self-audit and construct fairness-aware system prompts at test time. Experiments on two LVLM-based T2I models, SANA and Qwen-Image, show that FairPro substantially reduces demographic bias while preserving text-image alignment. We believe our findings provide deeper insight into the central role of system prompts in bias propagation and offer a practical, deployable approach for building more socially responsible T2I systems.