DialectGen: Оценка и повышение устойчивости к диалектам в мультимодальной генерации

DialectGen: Benchmarking and Improving Dialect Robustness in Multimodal Generation

October 16, 2025

Авторы: Yu Zhou, Sohyun An, Haikang Deng, Da Yin, Clark Peng, Cho-Jui Hsieh, Kai-Wei Chang, Nanyun Peng

cs.AI

Аннотация

Контактные языки, такие как английский, демонстрируют богатые региональные вариации в форме диалектов, которые часто используются носителями диалектов при взаимодействии с генеративными моделями. Однако могут ли мультимодальные генеративные модели эффективно создавать контент на основе диалектного текстового ввода? В данной работе мы исследуем этот вопрос, создавая новый масштабный бенчмарк, охватывающий шесть распространённых диалектов английского языка. Мы сотрудничаем с носителями диалектов для сбора и проверки более 4200 уникальных запросов и оцениваем 17 моделей генерации изображений и видео. Результаты автоматической и экспертной оценки показывают, что современные мультимодальные генеративные модели демонстрируют снижение производительности на 32,26% до 48,17% при использовании одного диалектного слова в запросе. Распространённые методы устранения проблем, такие как тонкая настройка и переформулирование запросов, могут лишь незначительно улучшить производительность на диалектах (< 7%), при этом потенциально вызывая значительное снижение производительности на стандартном американском английском (SAE). В связи с этим мы разрабатываем общую стратегию устранения проблем для мультимодальных генеративных моделей, основанную на кодировщике. Наш метод обучает модель распознавать новые диалектные особенности, сохраняя при этом производительность на SAE. Эксперименты на моделях, таких как Stable Diffusion 1.5, показывают, что наш метод позволяет одновременно повысить производительность на пяти диалектах до уровня SAE (+34,4%), при этом практически не затрагивая производительность на SAE.

English

Contact languages like English exhibit rich regional variations in the form of dialects, which are often used by dialect speakers interacting with generative models. However, can multimodal generative models effectively produce content given dialectal textual input? In this work, we study this question by constructing a new large-scale benchmark spanning six common English dialects. We work with dialect speakers to collect and verify over 4200 unique prompts and evaluate on 17 image and video generative models. Our automatic and human evaluation results show that current state-of-the-art multimodal generative models exhibit 32.26% to 48.17% performance degradation when a single dialect word is used in the prompt. Common mitigation methods such as fine-tuning and prompt rewriting can only improve dialect performance by small margins (< 7%), while potentially incurring significant performance degradation in Standard American English (SAE). To this end, we design a general encoder-based mitigation strategy for multimodal generative models. Our method teaches the model to recognize new dialect features while preserving SAE performance. Experiments on models such as Stable Diffusion 1.5 show that our method is able to simultaneously raise performance on five dialects to be on par with SAE (+34.4%), while incurring near zero cost to SAE performance.