Là où la culture s'estompe : révéler le fossé culturel dans la génération d'images à partir de texte
Where Culture Fades: Revealing the Cultural Gap in Text-to-Image Generation
November 21, 2025
papers.authors: Chuancheng Shi, Shangze Li, Shiming Guo, Simiao Xie, Wenhua Wu, Jingtong Dou, Chao Wu, Canran Xiao, Cong Wang, Zifeng Cheng, Fei Shen, Tat-Seng Chua
cs.AI
papers.abstract
Les modèles multilingues de génération d'images à partir de texte (T2I) ont progressé rapidement en termes de réalisme visuel et d'alignement sémantique, et sont désormais largement utilisés. Pourtant, leurs résultats varient selon les contextes culturels : puisque la langue véhicule des connotations culturelles, les images synthétisées à partir d'invites multilingues devraient préserver une cohérence culturelle translinguistique. Nous menons une analyse complète montrant que les modèles T2I actuels produisent souvent des résultats culturellement neutres ou biaisés vers l'anglais avec des invites multilingues. L'analyse de deux modèles représentatifs indique que le problème ne provient pas d'un manque de connaissances culturelles, mais d'une activation insuffisante des représentations liées à la culture. Nous proposons une méthode de sondage qui localise les signaux sensibles à la culture dans un petit ensemble de neurones situés dans quelques couches fixes. Guidés par cette découverte, nous introduisons deux stratégies d'alignement complémentaires : (1) une activation culturelle à l'inférence qui amplifie les neurones identifiés sans fine-tuning du modèle de base ; et (2) un renforcement culturel ciblant des couches spécifiques qui ne met à jour que les couches culturellement pertinentes. Les expériences sur notre CultureBench démontrent des améliorations constantes par rapport aux bases de référence solides en matière de cohérence culturelle, tout en préservant la fidélité et la diversité.
English
Multilingual text-to-image (T2I) models have advanced rapidly in terms of visual realism and semantic alignment, and are now widely utilized. Yet outputs vary across cultural contexts: because language carries cultural connotations, images synthesized from multilingual prompts should preserve cross-lingual cultural consistency. We conduct a comprehensive analysis showing that current T2I models often produce culturally neutral or English-biased results under multilingual prompts. Analyses of two representative models indicate that the issue stems not from missing cultural knowledge but from insufficient activation of culture-related representations. We propose a probing method that localizes culture-sensitive signals to a small set of neurons in a few fixed layers. Guided by this finding, we introduce two complementary alignment strategies: (1) inference-time cultural activation that amplifies the identified neurons without backbone fine-tuned; and (2) layer-targeted cultural enhancement that updates only culturally relevant layers. Experiments on our CultureBench demonstrate consistent improvements over strong baselines in cultural consistency while preserving fidelity and diversity.