DialectGen : Évaluation et amélioration de la robustesse dialectique dans la génération multimodale

DialectGen: Benchmarking and Improving Dialect Robustness in Multimodal Generation

October 16, 2025

papers.authors: Yu Zhou, Sohyun An, Haikang Deng, Da Yin, Clark Peng, Cho-Jui Hsieh, Kai-Wei Chang, Nanyun Peng

cs.AI

papers.abstract

Les langues de contact comme l'anglais présentent de riches variations régionales sous la forme de dialectes, souvent utilisés par les locuteurs de ces dialectes lorsqu'ils interagissent avec des modèles génératifs. Cependant, les modèles génératifs multimodaux peuvent-ils produire efficacement du contenu à partir d'une entrée textuelle dialectale ? Dans ce travail, nous étudions cette question en construisant un nouveau benchmark à grande échelle couvrant six dialectes anglais courants. Nous collaborons avec des locuteurs de dialectes pour collecter et vérifier plus de 4200 prompts uniques, et nous évaluons 17 modèles génératifs d'images et de vidéos. Nos résultats d'évaluation automatique et humaine montrent que les modèles génératifs multimodaux actuels les plus performants subissent une dégradation de performance de 32,26 % à 48,17 % lorsqu'un seul mot dialectal est utilisé dans le prompt. Les méthodes courantes d'atténuation, telles que le fine-tuning et la réécriture des prompts, ne permettent d'améliorer que marginalement la performance sur les dialectes (< 7 %), tout en risquant de provoquer une dégradation significative de la performance sur l'anglais américain standard (SAE). À cette fin, nous concevons une stratégie générale d'atténuation basée sur un encodeur pour les modèles génératifs multimodaux. Notre méthode apprend au modèle à reconnaître de nouvelles caractéristiques dialectales tout en préservant la performance sur le SAE. Les expériences sur des modèles tels que Stable Diffusion 1.5 montrent que notre méthode permet d'augmenter simultanément la performance sur cinq dialectes pour la mettre au niveau du SAE (+34,4 %), tout en engendrant un coût quasi nul pour la performance sur le SAE.

English

Contact languages like English exhibit rich regional variations in the form of dialects, which are often used by dialect speakers interacting with generative models. However, can multimodal generative models effectively produce content given dialectal textual input? In this work, we study this question by constructing a new large-scale benchmark spanning six common English dialects. We work with dialect speakers to collect and verify over 4200 unique prompts and evaluate on 17 image and video generative models. Our automatic and human evaluation results show that current state-of-the-art multimodal generative models exhibit 32.26% to 48.17% performance degradation when a single dialect word is used in the prompt. Common mitigation methods such as fine-tuning and prompt rewriting can only improve dialect performance by small margins (< 7%), while potentially incurring significant performance degradation in Standard American English (SAE). To this end, we design a general encoder-based mitigation strategy for multimodal generative models. Our method teaches the model to recognize new dialect features while preserving SAE performance. Experiments on models such as Stable Diffusion 1.5 show that our method is able to simultaneously raise performance on five dialects to be on par with SAE (+34.4%), while incurring near zero cost to SAE performance.