Ausgerichtet, aber stereotyp? Der verborgene Einfluss von System-Prompts auf soziale Vorurteile in textbasierten Bildgenerierungsmodellen auf Basis multimodaler Großsprachmodelle
Aligned but Stereotypical? The Hidden Influence of System Prompts on Social Bias in LVLM-Based Text-to-Image Models
December 4, 2025
papers.authors: NaHyeon Park, Namin An, Kunhee Kim, Soyeon Yoon, Jiahao Huo, Hyunjung Shim
cs.AI
papers.abstract
Große visuell-sprachliche Modelle (LVLM) basierte Text-zu-Bild (T2I) Systeme sind zum dominanten Paradigma in der Bildgenerierung geworden, doch ob sie soziale Verzerrungen verstärken, bleibt unzureichend verstanden. In dieser Arbeit zeigen wir, dass LVLM-basierte Modelle deutlich stärker sozial verzerrte Bilder erzeugen als nicht-LVLM-basierte Modelle. Wir stellen einen Benchmark mit 1.024 Prompts vor, der vier Ebenen linguistischer Komplexität umspannt, und bewerten demografische Verzerrungen über mehrere Attribute hinweg auf systematische Weise. Unsere Analyse identifiziert System-Prompts, die vordefinierten Anweisungen, die LVLMs steuern, als primären Treiber verzerrten Verhaltens. Durch decodierte Zwischenrepräsentationen, Token-Wahrscheinlichkeitsdiagnosen und Embedding-Assoziationsanalysen zeigen wir auf, wie System-Prompts demografische A-priori-Annahmen kodieren, die sich in die Bildsynthese fortpflanzen. Zu diesem Zweck schlagen wir FairPro vor, ein trainierungsfreies Meta-Prompting-Framework, das LVLMs ermöglicht, sich selbst zu überprüfen und fairness-bewusste System-Prompts zur Testzeit zu konstruieren. Experimente mit zwei LVLM-basierten T2I-Modellen, SANA und Qwen-Image, zeigen, dass FairPro demografische Verzerrungen wesentlich reduziert, während die Text-Bild-Übereinstimmung erhalten bleibt. Wir sind überzeugt, dass unsere Erkenntnisse einen tieferen Einblick in die zentrale Rolle von System-Prompts bei der Verzerrungsverbreitung bieten und einen praktischen, einsetzbaren Ansatz für den Aufbau sozial verantwortungsvollerer T2I-Systeme darstellen.
English
Large vision-language model (LVLM) based text-to-image (T2I) systems have become the dominant paradigm in image generation, yet whether they amplify social biases remains insufficiently understood. In this paper, we show that LVLM-based models produce markedly more socially biased images than non-LVLM-based models. We introduce a 1,024 prompt benchmark spanning four levels of linguistic complexity and evaluate demographic bias across multiple attributes in a systematic manner. Our analysis identifies system prompts, the predefined instructions guiding LVLMs, as a primary driver of biased behavior. Through decoded intermediate representations, token-probability diagnostics, and embedding-association analyses, we reveal how system prompts encode demographic priors that propagate into image synthesis. To this end, we propose FairPro, a training-free meta-prompting framework that enables LVLMs to self-audit and construct fairness-aware system prompts at test time. Experiments on two LVLM-based T2I models, SANA and Qwen-Image, show that FairPro substantially reduces demographic bias while preserving text-image alignment. We believe our findings provide deeper insight into the central role of system prompts in bias propagation and offer a practical, deployable approach for building more socially responsible T2I systems.