Dove la Cultura Svanisce: Svelare il Divario Culturale nella Generazione di Immagini da Testo
Where Culture Fades: Revealing the Cultural Gap in Text-to-Image Generation
November 21, 2025
Autori: Chuancheng Shi, Shangze Li, Shiming Guo, Simiao Xie, Wenhua Wu, Jingtong Dou, Chao Wu, Canran Xiao, Cong Wang, Zifeng Cheng, Fei Shen, Tat-Seng Chua
cs.AI
Abstract
I modelli multilingue text-to-image (T2I) hanno fatto rapidi progressi in termini di realismo visivo e allineamento semantico, e sono oggi ampiamente utilizzati. Tuttavia, i risultati variano a seconda dei contesti culturali: poiché la lingua veicola connotazioni culturali, le immagini sintetizzate a partire da prompt multilingue dovrebbero preservare una coerenza culturale cross-linguale. Conduciamo un'analisi completa che dimostra come gli attuali modelli T2I producano spesso risultati culturalmente neutri o influenzati dalla lingua inglese quando sollecitati con prompt multilingue. L'analisi di due modelli rappresentativi indica che il problema non origina da una mancanza di conoscenza culturale, ma da un'attivazione insufficiente delle rappresentazioni correlate alla cultura. Proponiamo un metodo di probing che localizza i segnali sensibili alla cultura in un piccolo insieme di neuroni situati in alcuni layer fissi. Guidati da questa scoperta, introduciamo due strategie di allineamento complementari: (1) un'attivazione culturale al momento dell'inferenza che amplifica i neuroni identificati senza fine-tuning della backbone; e (2) un potenziamento culturale mirato ai layer che aggiorna solo gli strati culturalmente rilevanti. Esperimenti sul nostro CultureBench dimostrano miglioramenti consistenti rispetto a baseline solide nella coerenza culturale, preservando al contempo fedeltà e diversità.
English
Multilingual text-to-image (T2I) models have advanced rapidly in terms of visual realism and semantic alignment, and are now widely utilized. Yet outputs vary across cultural contexts: because language carries cultural connotations, images synthesized from multilingual prompts should preserve cross-lingual cultural consistency. We conduct a comprehensive analysis showing that current T2I models often produce culturally neutral or English-biased results under multilingual prompts. Analyses of two representative models indicate that the issue stems not from missing cultural knowledge but from insufficient activation of culture-related representations. We propose a probing method that localizes culture-sensitive signals to a small set of neurons in a few fixed layers. Guided by this finding, we introduce two complementary alignment strategies: (1) inference-time cultural activation that amplifies the identified neurons without backbone fine-tuned; and (2) layer-targeted cultural enhancement that updates only culturally relevant layers. Experiments on our CultureBench demonstrate consistent improvements over strong baselines in cultural consistency while preserving fidelity and diversity.