Alinhados, mas Estereotipados? A Influência Oculta dos Prompts do Sistema no Viés Social em Modelos de Texto para Imagem Baseados em LVLM
Aligned but Stereotypical? The Hidden Influence of System Prompts on Social Bias in LVLM-Based Text-to-Image Models
December 4, 2025
Autores: NaHyeon Park, Namin An, Kunhee Kim, Soyeon Yoon, Jiahao Huo, Hyunjung Shim
cs.AI
Resumo
Os sistemas de texto-para-imagem (T2I) baseados em grandes modelos visão-linguagem (LVLM) tornaram-se o paradigma dominante na geração de imagens, mas a questão de saber se eles amplificam vieses sociais permanece insuficientemente compreendida. Neste artigo, demonstramos que os modelos baseados em LVLM produzem imagens significativamente mais tendenciosas socialmente do que os modelos não baseados em LVLM. Introduzimos um *benchmark* de 1.024 *prompts* abrangendo quatro níveis de complexidade linguística e avaliamos o viés demográfico em múltiplos atributos de forma sistemática. Nossa análise identifica os *prompts* de sistema – as instruções predefinidas que orientam os LVLMs – como um dos principais impulsionadores do comportamento enviesado. Por meio de representações intermediárias decodificadas, diagnósticos de probabilidade de *tokens* e análises de associação de *embeddings*, revelamos como os *prompts* de sistema codificam *priors* demográficos que se propagam para a síntese de imagens. Para tal, propomos o FairPro, uma estrutura de *meta-prompting* sem necessidade de treino que permite aos LVLMs autoauditarem-se e construírem *prompts* de sistema conscientes da imparcialidade em tempo de teste. Experiências em dois modelos T2I baseados em LVLM, SANA e Qwen-Image, mostram que o FairPro reduz substancialmente o viés demográfico, preservando o alinhamento texto-imagem. Acreditamos que as nossas descobertas fornecem uma perceção mais profunda sobre o papel central dos *prompts* de sistema na propagação de vieses e oferecem uma abordagem prática e implementável para a construção de sistemas T2I socialmente mais responsáveis.
English
Large vision-language model (LVLM) based text-to-image (T2I) systems have become the dominant paradigm in image generation, yet whether they amplify social biases remains insufficiently understood. In this paper, we show that LVLM-based models produce markedly more socially biased images than non-LVLM-based models. We introduce a 1,024 prompt benchmark spanning four levels of linguistic complexity and evaluate demographic bias across multiple attributes in a systematic manner. Our analysis identifies system prompts, the predefined instructions guiding LVLMs, as a primary driver of biased behavior. Through decoded intermediate representations, token-probability diagnostics, and embedding-association analyses, we reveal how system prompts encode demographic priors that propagate into image synthesis. To this end, we propose FairPro, a training-free meta-prompting framework that enables LVLMs to self-audit and construct fairness-aware system prompts at test time. Experiments on two LVLM-based T2I models, SANA and Qwen-Image, show that FairPro substantially reduces demographic bias while preserving text-image alignment. We believe our findings provide deeper insight into the central role of system prompts in bias propagation and offer a practical, deployable approach for building more socially responsible T2I systems.