MLLM（マルチモーダル大規模言語モデル）は、モダリティバイアスに強く影響を受ける

MLLMs are Deeply Affected by Modality Bias

May 24, 2025

著者: Xu Zheng, Chenfei Liao, Yuqian Fu, Kaiyu Lei, Yuanhuiyi Lyu, Lutao Jiang, Bin Ren, Jialei Chen, Jiawen Wang, Chengxin Li, Linfeng Zhang, Danda Pani Paudel, Xuanjing Huang, Yu-Gang Jiang, Nicu Sebe, Dacheng Tao, Luc Van Gool, Xuming Hu

cs.AI

要旨

近年のマルチモーダル大規模言語モデル（MLLMs）の進展は、テキストや画像などの多様なモダリティを統合する上で有望な結果を示しています。しかし、MLLMsはモダリティバイアスの影響を強く受けており、言語に依存しがちで、視覚入力をはじめとする他のモダリティを十分に活用していないことが指摘されています。本ポジションペーパーでは、MLLMsがモダリティバイアスに深く影響を受けていることを主張します。まず、モダリティバイアスの現状を診断し、さまざまなタスクにおけるその現れ方を明らかにします。次に、MLLMsにおけるモダリティバイアスに関連する体系的な研究ロードマップを提案します。さらに、MLLMsにおけるモダリティバイアスの主要な要因を特定し、それを軽減するための今後の研究に向けた具体的な提言を行います。これらの知見を裏付けるため、各要因の影響を実証する実験を行いました。1. データ特性：言語データはコンパクトで抽象的であるのに対し、視覚データは冗長で複雑であり、学習動態に内在的な不均衡を生み出します。2. 不均衡なバックボーン能力：MLLMsにおける事前学習済み言語モデルの優位性が、言語への過剰依存と視覚情報の軽視を招いています。3. 学習目的：現在の学習目的は、バランスの取れたクロスモーダルアラインメントを促進しにくく、言語に偏ったショートカット学習を引き起こしています。これらの発見は、MLLMsにおいて複数のモダリティをより良く統合するためには、バランスの取れた学習戦略とモデルアーキテクチャが必要であることを強調しています。これらの課題に取り組み、MLLM研究の革新を推進するためには、学際的な取り組みが求められます。本研究は、MLLMsにおけるモダリティバイアスに対する新たな視点を提供し、より堅牢で汎用性の高いマルチモーダルシステムの開発に向けた洞察を提示します。これにより、人工汎用知能（AGI）への進展が促進されることが期待されます。

English

Recent advances in Multimodal Large Language Models (MLLMs) have shown promising results in integrating diverse modalities such as texts and images. MLLMs are heavily influenced by modality bias, often relying on language while under-utilizing other modalities like visual inputs. This position paper argues that MLLMs are deeply affected by modality bias. Firstly, we diagnose the current state of modality bias, highlighting its manifestations across various tasks. Secondly, we propose a systematic research road-map related to modality bias in MLLMs. Thirdly, we identify key factors of modality bias in MLLMs and offer actionable suggestions for future research to mitigate it. To substantiate these findings, we conduct experiments that demonstrate the influence of each factor: 1. Data Characteristics: Language data is compact and abstract, while visual data is redundant and complex, creating an inherent imbalance in learning dynamics. 2. Imbalanced Backbone Capabilities: The dominance of pretrained language models in MLLMs leads to overreliance on language and neglect of visual information. 3. Training Objectives: Current objectives often fail to promote balanced cross-modal alignment, resulting in shortcut learning biased toward language. These findings highlight the need for balanced training strategies and model architectures to better integrate multiple modalities in MLLMs. We call for interdisciplinary efforts to tackle these challenges and drive innovation in MLLM research. Our work provides a fresh perspective on modality bias in MLLMs and offers insights for developing more robust and generalizable multimodal systems-advancing progress toward Artificial General Intelligence.