¿Alineados pero Estereotípicos? La Influencia Oculta de los Prompts del Sistema en el Sesgo Social en Modelos de Texto a Imagen Basados en LVLM
Aligned but Stereotypical? The Hidden Influence of System Prompts on Social Bias in LVLM-Based Text-to-Image Models
December 4, 2025
Autores: NaHyeon Park, Namin An, Kunhee Kim, Soyeon Yoon, Jiahao Huo, Hyunjung Shim
cs.AI
Resumen
Los sistemas de generación de imágenes a partir de texto (T2I) basados en grandes modelos de visión y lenguaje (LVLM) se han convertido en el paradigma dominante, pero aún no se comprende suficientemente si amplifican los sesgos sociales. En este artículo, demostramos que los modelos basados en LVLM producen imágenes notablemente más sesgadas socialmente que los modelos no basados en LVLM. Presentamos un benchmark de 1.024 indicaciones que abarca cuatro niveles de complejidad lingüística y evaluamos el sesgo demográfico en múltiples atributos de manera sistemática. Nuestro análisis identifica las indicaciones del sistema, las instrucciones predefinidas que guían a los LVLM, como el principal impulsor del comportamiento sesgado. Mediante representaciones intermedias decodificadas, diagnósticos de probabilidad de tokens y análisis de asociación de *embeddings*, revelamos cómo las indicaciones del sistema codifican *priors* demográficos que se propagan hacia la síntesis de imágenes. Para ello, proponemos FairPro, un marco de metaindicación que no requiere entrenamiento y permite a los LVLM autoauditarse y construir indicaciones del sistema conscientes de la equidad en tiempo de prueba. Los experimentos en dos modelos T2I basados en LVLM, SANA y Qwen-Image, muestran que FairPro reduce sustancialmente el sesgo demográfico mientras preserva la alineación texto-imagen. Creemos que nuestros hallazgos proporcionan una visión más profunda del papel central de las indicaciones del sistema en la propagación de sesgos y ofrecen un enfoque práctico y desplegable para construir sistemas T2I más socialmente responsables.
English
Large vision-language model (LVLM) based text-to-image (T2I) systems have become the dominant paradigm in image generation, yet whether they amplify social biases remains insufficiently understood. In this paper, we show that LVLM-based models produce markedly more socially biased images than non-LVLM-based models. We introduce a 1,024 prompt benchmark spanning four levels of linguistic complexity and evaluate demographic bias across multiple attributes in a systematic manner. Our analysis identifies system prompts, the predefined instructions guiding LVLMs, as a primary driver of biased behavior. Through decoded intermediate representations, token-probability diagnostics, and embedding-association analyses, we reveal how system prompts encode demographic priors that propagate into image synthesis. To this end, we propose FairPro, a training-free meta-prompting framework that enables LVLMs to self-audit and construct fairness-aware system prompts at test time. Experiments on two LVLM-based T2I models, SANA and Qwen-Image, show that FairPro substantially reduces demographic bias while preserving text-image alignment. We believe our findings provide deeper insight into the central role of system prompts in bias propagation and offer a practical, deployable approach for building more socially responsible T2I systems.