Выровнены, но стереотипны? Скрытое влияние системных промптов на социальные предубеждения в тексто-графических моделях на основе LVLM
Aligned but Stereotypical? The Hidden Influence of System Prompts on Social Bias in LVLM-Based Text-to-Image Models
December 4, 2025
Авторы: NaHyeon Park, Namin An, Kunhee Kim, Soyeon Yoon, Jiahao Huo, Hyunjung Shim
cs.AI
Аннотация
Крупные визуально-языковые модели (LVLM) стали доминирующей парадигмой в генерации изображений по текстовым описаниям (T2I), однако вопрос о том, усиливают ли они социальные предубеждения, остаётся недостаточно изученным. В данной статье мы демонстрируем, что модели на основе LVLM генерируют значительно более социально предвзятые изображения по сравнению с моделями, не использующими LVLM. Мы представляем эталонный набор из 1024 промптов, охватывающий четыре уровня лингвистической сложности, и систематически оцениваем демографическую предвзятость по множеству атрибутов. Наш анализ определяет системные промпты — предопределённые инструкции, управляющие LVLM, — как ключевой фактор, обуславливающий предвзятое поведение. С помощью декодирования промежуточных представлений, диагностики токенных вероятностей и анализа ассоциаций в пространстве эмбеддингов мы раскрываем, как системные промпты кодируют демографические априорные предположения, которые проникают в процесс синтеза изображений. Для решения этой проблемы мы предлагаем FairPro, беспараметрический мета-промптинг фреймворк, который позволяет LVLM самостоятельно проводить аудит и конструировать осведомлённые о справедливости системные промпты во время тестирования. Эксперименты на двух T2I-моделях на основе LVLM, SANA и Qwen-Image, показывают, что FairPro существенно снижает демографическую предвзятость, сохраняя соответствие между текстом и изображением. Мы полагаем, что наши результаты дают более глубокое понимание центральной роли системных промптов в распространении предубеждений и предлагают практический, готовый к внедрению подход для создания более социально ответственных T2I-систем.
English
Large vision-language model (LVLM) based text-to-image (T2I) systems have become the dominant paradigm in image generation, yet whether they amplify social biases remains insufficiently understood. In this paper, we show that LVLM-based models produce markedly more socially biased images than non-LVLM-based models. We introduce a 1,024 prompt benchmark spanning four levels of linguistic complexity and evaluate demographic bias across multiple attributes in a systematic manner. Our analysis identifies system prompts, the predefined instructions guiding LVLMs, as a primary driver of biased behavior. Through decoded intermediate representations, token-probability diagnostics, and embedding-association analyses, we reveal how system prompts encode demographic priors that propagate into image synthesis. To this end, we propose FairPro, a training-free meta-prompting framework that enables LVLMs to self-audit and construct fairness-aware system prompts at test time. Experiments on two LVLM-based T2I models, SANA and Qwen-Image, show that FairPro substantially reduces demographic bias while preserving text-image alignment. We believe our findings provide deeper insight into the central role of system prompts in bias propagation and offer a practical, deployable approach for building more socially responsible T2I systems.