Allineati ma stereotipati? L'influenza nascosta dei prompt di sistema sul bias sociale nei modelli testo-immagine basati su LVLM

Aligned but Stereotypical? The Hidden Influence of System Prompts on Social Bias in LVLM-Based Text-to-Image Models

December 4, 2025

Autori: NaHyeon Park, Namin An, Kunhee Kim, Soyeon Yoon, Jiahao Huo, Hyunjung Shim

cs.AI

Abstract

I modelli di testo-immagine (T2I) basati su grandi modelli visione-linguaggio (LVLM) sono diventati il paradigma dominante nella generazione di immagini, ma rimane insufficientemente compreso se amplifichino i pregiudizi sociali. In questo articolo, dimostriamo che i modelli basati su LVLM producono immagini notevolmente più socialmente distorte rispetto ai modelli non LVLM. Introduciamo un benchmark di 1.024 prompt che copre quattro livelli di complessità linguistica e valutiamo il bias demografico su più attributi in modo sistematico. La nostra analisi identifica i prompt di sistema, le istruzioni predefinite che guidano gli LVLM, come un fattore primario del comportamento distorto. Attraverso rappresentazioni intermedie decodificate, diagnostiche basate su probabilità dei token e analisi di associazione degli embedding, riveliamo come i prompt di sistema codifichino prior demografiche che si propagano nella sintesi delle immagini. A tal fine, proponiamo FairPro, un framework di meta-prompting senza addestramento che consente agli LVLM di autoverificarsi e costruire prompt di sistema consapevoli dell'equità durante il test. Esperimenti su due modelli T2I basati su LVLM, SANA e Qwen-Image, mostrano che FairPro riduce sostanzialmente il bias demografico preservando l'allineamento testo-immagine. Riteniamo che i nostri risultati forniscano una comprensione più profonda del ruolo centrale dei prompt di sistema nella propagazione del bias e offrano un approccio pratico e distribuibile per costruire sistemi T2I più socialmente responsabili.

English

Large vision-language model (LVLM) based text-to-image (T2I) systems have become the dominant paradigm in image generation, yet whether they amplify social biases remains insufficiently understood. In this paper, we show that LVLM-based models produce markedly more socially biased images than non-LVLM-based models. We introduce a 1,024 prompt benchmark spanning four levels of linguistic complexity and evaluate demographic bias across multiple attributes in a systematic manner. Our analysis identifies system prompts, the predefined instructions guiding LVLMs, as a primary driver of biased behavior. Through decoded intermediate representations, token-probability diagnostics, and embedding-association analyses, we reveal how system prompts encode demographic priors that propagate into image synthesis. To this end, we propose FairPro, a training-free meta-prompting framework that enables LVLMs to self-audit and construct fairness-aware system prompts at test time. Experiments on two LVLM-based T2I models, SANA and Qwen-Image, show that FairPro substantially reduces demographic bias while preserving text-image alignment. We believe our findings provide deeper insight into the central role of system prompts in bias propagation and offer a practical, deployable approach for building more socially responsible T2I systems.