Donde la Cultura se Desvanece: Revelando la Brecha Cultural en la Generación de Imágenes a partir de Texto
Where Culture Fades: Revealing the Cultural Gap in Text-to-Image Generation
November 21, 2025
Autores: Chuancheng Shi, Shangze Li, Shiming Guo, Simiao Xie, Wenhua Wu, Jingtong Dou, Chao Wu, Canran Xiao, Cong Wang, Zifeng Cheng, Fei Shen, Tat-Seng Chua
cs.AI
Resumen
Los modelos multilingües de texto a imagen (T2I) han avanzado rápidamente en cuanto a realismo visual y alineación semántica, y hoy en día se utilizan ampliamente. Sin embargo, los resultados varían según los contextos culturales: dado que el lenguaje conlleva connotaciones culturales, las imágenes sintetizadas a partir de instrucciones multilingües deberían preservar la consistencia cultural translingüe. Realizamos un análisis exhaustivo que muestra que los modelos T2I actuales a menudo producen resultados culturalmente neutros o sesgados hacia el inglés con instrucciones multilingües. Los análisis de dos modelos representativos indican que el problema no surge de un conocimiento cultural faltante, sino de una activación insuficiente de las representaciones relacionadas con la cultura. Proponemos un método de sondeo que localiza las señales sensibles a la cultura en un pequeño conjunto de neuronas de unas pocas capas fijas. Guiados por este hallazgo, introducimos dos estrategias de alineación complementarias: (1) una activación cultural en tiempo de inferencia que amplifica las neuronas identificadas sin ajustar el modelo base; y (2) una mejora cultural dirigida por capas que actualiza únicamente las capas culturalmente relevantes. Los experimentos en nuestro CultureBench demuestran mejoras consistentes respecto a líneas base sólidas en consistencia cultural, preservando al mismo tiempo la fidelidad y la diversidad.
English
Multilingual text-to-image (T2I) models have advanced rapidly in terms of visual realism and semantic alignment, and are now widely utilized. Yet outputs vary across cultural contexts: because language carries cultural connotations, images synthesized from multilingual prompts should preserve cross-lingual cultural consistency. We conduct a comprehensive analysis showing that current T2I models often produce culturally neutral or English-biased results under multilingual prompts. Analyses of two representative models indicate that the issue stems not from missing cultural knowledge but from insufficient activation of culture-related representations. We propose a probing method that localizes culture-sensitive signals to a small set of neurons in a few fixed layers. Guided by this finding, we introduce two complementary alignment strategies: (1) inference-time cultural activation that amplifies the identified neurons without backbone fine-tuned; and (2) layer-targeted cultural enhancement that updates only culturally relevant layers. Experiments on our CultureBench demonstrate consistent improvements over strong baselines in cultural consistency while preserving fidelity and diversity.