DialectGen: Evaluación y Mejora de la Robustez Dialectal en la Generación Multimodal

DialectGen: Benchmarking and Improving Dialect Robustness in Multimodal Generation

October 16, 2025

Autores: Yu Zhou, Sohyun An, Haikang Deng, Da Yin, Clark Peng, Cho-Jui Hsieh, Kai-Wei Chang, Nanyun Peng

cs.AI

Resumen

Las lenguas de contacto como el inglés presentan ricas variaciones regionales en forma de dialectos, los cuales son frecuentemente utilizados por hablantes de dialectos al interactuar con modelos generativos. Sin embargo, ¿pueden los modelos generativos multimodales producir contenido de manera efectiva a partir de entradas textuales dialectales? En este trabajo, estudiamos esta cuestión construyendo un nuevo punto de referencia a gran escala que abarca seis dialectos comunes del inglés. Colaboramos con hablantes de dialectos para recopilar y verificar más de 4200 indicaciones únicas y evaluamos 17 modelos generativos de imágenes y videos. Nuestros resultados de evaluación automática y humana muestran que los modelos generativos multimodales de última generación presentan una degradación del rendimiento del 32.26% al 48.17% cuando se utiliza una sola palabra dialectal en la indicación. Métodos comunes de mitigación, como el ajuste fino y la reescritura de indicaciones, solo pueden mejorar el rendimiento dialectal en márgenes pequeños (< 7%), mientras que potencialmente incurren en una degradación significativa del rendimiento en el inglés estándar americano (SAE). Con este fin, diseñamos una estrategia general de mitigación basada en codificadores para modelos generativos multimodales. Nuestro método enseña al modelo a reconocer nuevas características dialectales mientras preserva el rendimiento en SAE. Experimentos en modelos como Stable Diffusion 1.5 muestran que nuestro método es capaz de elevar simultáneamente el rendimiento en cinco dialectos hasta alcanzar niveles comparables con SAE (+34.4%), incurriendo en un costo casi nulo para el rendimiento en SAE.

English

Contact languages like English exhibit rich regional variations in the form of dialects, which are often used by dialect speakers interacting with generative models. However, can multimodal generative models effectively produce content given dialectal textual input? In this work, we study this question by constructing a new large-scale benchmark spanning six common English dialects. We work with dialect speakers to collect and verify over 4200 unique prompts and evaluate on 17 image and video generative models. Our automatic and human evaluation results show that current state-of-the-art multimodal generative models exhibit 32.26% to 48.17% performance degradation when a single dialect word is used in the prompt. Common mitigation methods such as fine-tuning and prompt rewriting can only improve dialect performance by small margins (< 7%), while potentially incurring significant performance degradation in Standard American English (SAE). To this end, we design a general encoder-based mitigation strategy for multimodal generative models. Our method teaches the model to recognize new dialect features while preserving SAE performance. Experiments on models such as Stable Diffusion 1.5 show that our method is able to simultaneously raise performance on five dialects to be on par with SAE (+34.4%), while incurring near zero cost to SAE performance.