DialectGen: マルチモーダル生成における方言ロバスト性のベンチマーキングと改善

DialectGen: Benchmarking and Improving Dialect Robustness in Multimodal Generation

October 16, 2025

著者: Yu Zhou, Sohyun An, Haikang Deng, Da Yin, Clark Peng, Cho-Jui Hsieh, Kai-Wei Chang, Nanyun Peng

cs.AI

要旨

英語のようなコンタクト言語は、方言という形で豊かな地域的バリエーションを示しており、方言話者が生成モデルとやり取りする際によく使用されます。しかし、マルチモーダル生成モデルは、方言テキスト入力を与えられた場合に効果的にコンテンツを生成できるのでしょうか？本研究では、この疑問を探るため、6つの一般的な英語方言にまたがる新たな大規模ベンチマークを構築しました。方言話者と協力して4200以上のユニークなプロンプトを収集・検証し、17の画像および動画生成モデルを評価しました。自動評価と人間による評価の結果、現在の最先端マルチモーダル生成モデルは、プロンプトに単一の方言単語が使用された場合、32.26%から48.17%の性能低下を示すことがわかりました。ファインチューニングやプロンプト書き換えなどの一般的な緩和策では、方言性能をわずかに改善するのみ（<7%）であり、標準アメリカ英語（SAE）での性能低下を招く可能性があります。このため、我々はマルチモーダル生成モデル向けの一般的なエンコーダベースの緩和戦略を設計しました。我々の手法は、モデルに新しい方言特徴を認識させつつ、SAE性能を維持することを教えます。Stable Diffusion 1.5などのモデルでの実験では、我々の手法が5つの方言での性能をSAEと同等に向上させ（+34.4%）、SAE性能への影響をほぼゼロに抑えることができました。

English

Contact languages like English exhibit rich regional variations in the form of dialects, which are often used by dialect speakers interacting with generative models. However, can multimodal generative models effectively produce content given dialectal textual input? In this work, we study this question by constructing a new large-scale benchmark spanning six common English dialects. We work with dialect speakers to collect and verify over 4200 unique prompts and evaluate on 17 image and video generative models. Our automatic and human evaluation results show that current state-of-the-art multimodal generative models exhibit 32.26% to 48.17% performance degradation when a single dialect word is used in the prompt. Common mitigation methods such as fine-tuning and prompt rewriting can only improve dialect performance by small margins (< 7%), while potentially incurring significant performance degradation in Standard American English (SAE). To this end, we design a general encoder-based mitigation strategy for multimodal generative models. Our method teaches the model to recognize new dialect features while preserving SAE performance. Experiments on models such as Stable Diffusion 1.5 show that our method is able to simultaneously raise performance on five dialects to be on par with SAE (+34.4%), while incurring near zero cost to SAE performance.