DialectGen: Benchmarking und Verbesserung der Dialektrobustheit in der multimodalen Generierung

DialectGen: Benchmarking and Improving Dialect Robustness in Multimodal Generation

October 16, 2025

papers.authors: Yu Zhou, Sohyun An, Haikang Deng, Da Yin, Clark Peng, Cho-Jui Hsieh, Kai-Wei Chang, Nanyun Peng

cs.AI

papers.abstract

Kontaktsprachen wie Englisch weisen reiche regionale Variationen in Form von Dialekten auf, die häufig von Dialektsprechern verwendet werden, die mit generativen Modellen interagieren. Allerdings können multimodale generative Modelle effektiv Inhalte erzeugen, wenn sie dialektale Textinputs erhalten? In dieser Arbeit untersuchen wir diese Frage, indem wir einen neuen groß angelegten Benchmark erstellen, der sechs gängige englische Dialekte umfasst. Wir arbeiten mit Dialektsprechern zusammen, um über 4200 einzigartige Prompts zu sammeln und zu verifizieren, und evaluieren 17 Bild- und Video-generierende Modelle. Unsere automatischen und menschlichen Evaluationsergebnisse zeigen, dass aktuelle state-of-the-art multimodale generative Modelle eine Leistungsverschlechterung von 32,26 % bis 48,17 % aufweisen, wenn ein einzelnes Dialektwort im Prompt verwendet wird. Gängige Gegenmaßnahmen wie Fine-Tuning und Prompt-Rewriting können die Dialektleistung nur in geringem Maße verbessern (< 7 %), während sie potenziell eine signifikante Leistungsverschlechterung im Standard American English (SAE) verursachen. Zu diesem Zweck entwerfen wir eine allgemeine, encoderbasierte Gegenstrategie für multimodale generative Modelle. Unsere Methode bringt dem Modell bei, neue Dialektmerkmale zu erkennen, während die SAE-Leistung erhalten bleibt. Experimente mit Modellen wie Stable Diffusion 1.5 zeigen, dass unsere Methode in der Lage ist, die Leistung bei fünf Dialekten gleichzeitig auf das Niveau von SAE zu steigern (+34,4 %), während die SAE-Leistung nahezu unverändert bleibt.

English

Contact languages like English exhibit rich regional variations in the form of dialects, which are often used by dialect speakers interacting with generative models. However, can multimodal generative models effectively produce content given dialectal textual input? In this work, we study this question by constructing a new large-scale benchmark spanning six common English dialects. We work with dialect speakers to collect and verify over 4200 unique prompts and evaluate on 17 image and video generative models. Our automatic and human evaluation results show that current state-of-the-art multimodal generative models exhibit 32.26% to 48.17% performance degradation when a single dialect word is used in the prompt. Common mitigation methods such as fine-tuning and prompt rewriting can only improve dialect performance by small margins (< 7%), while potentially incurring significant performance degradation in Standard American English (SAE). To this end, we design a general encoder-based mitigation strategy for multimodal generative models. Our method teaches the model to recognize new dialect features while preserving SAE performance. Experiments on models such as Stable Diffusion 1.5 show that our method is able to simultaneously raise performance on five dialects to be on par with SAE (+34.4%), while incurring near zero cost to SAE performance.