Waar cultuur vervaagt: De culturele kloof in tekst-naar-beeld-generatie onthuld
Where Culture Fades: Revealing the Cultural Gap in Text-to-Image Generation
November 21, 2025
Auteurs: Chuancheng Shi, Shangze Li, Shiming Guo, Simiao Xie, Wenhua Wu, Jingtong Dou, Chao Wu, Canran Xiao, Cong Wang, Zifeng Cheng, Fei Shen, Tat-Seng Chua
cs.AI
Samenvatting
Meertalige tekst-naar-beeldmodellen (T2I) hebben een snelle vooruitgang geboekt op het gebied van visuele realisme en semantische afstemming, en worden tegenwoordig veelvuldig gebruikt. Toch variëren de resultaten per culturele context: omdat taal culturele connotaties met zich meedraagt, zouden afbeeldingen die zijn gegenereerd uit meertalige prompts cross-linguïstische culturele consistentie moeten behouden. Wij voeren een uitgebreide analyse uit waaruit blijkt dat huidige T2I-modellen onder meertalige prompts vaak cultureel neutrale of op het Engels gerichte resultaten produceren. Analyses van twee representatieve modellen geven aan dat het probleem niet voortkomt uit ontbrekende culturele kennis, maar uit onvoldoende activatie van cultuurgerelateerde representaties. Wij stellen een peilmethode voor die cultuurgevoelige signalen lokaliseert naar een kleine set neuronen in een vast aantal lagen. Geleid door deze bevinding introduceren wij twee complementaire afstemmingsstrategieën: (1) culturele activatie tijdens inferentie die de geïdentificeerde neuronen versterkt zonder fine-tuning van de backbone; en (2) laaggerichtete culturele versterking die enkel de cultureel relevante lagen bijwerkt. Experimenten op onze CultureBench tonen consistente verbeteringen aan ten opzichte van sterke basislijnen in culturele consistentie, terwijl getrouwheid en diversiteit behouden blijven.
English
Multilingual text-to-image (T2I) models have advanced rapidly in terms of visual realism and semantic alignment, and are now widely utilized. Yet outputs vary across cultural contexts: because language carries cultural connotations, images synthesized from multilingual prompts should preserve cross-lingual cultural consistency. We conduct a comprehensive analysis showing that current T2I models often produce culturally neutral or English-biased results under multilingual prompts. Analyses of two representative models indicate that the issue stems not from missing cultural knowledge but from insufficient activation of culture-related representations. We propose a probing method that localizes culture-sensitive signals to a small set of neurons in a few fixed layers. Guided by this finding, we introduce two complementary alignment strategies: (1) inference-time cultural activation that amplifies the identified neurons without backbone fine-tuned; and (2) layer-targeted cultural enhancement that updates only culturally relevant layers. Experiments on our CultureBench demonstrate consistent improvements over strong baselines in cultural consistency while preserving fidelity and diversity.