MLLMs werden stark durch Modalitätsverzerrungen beeinflusst.

MLLMs are Deeply Affected by Modality Bias

May 24, 2025

Autoren: Xu Zheng, Chenfei Liao, Yuqian Fu, Kaiyu Lei, Yuanhuiyi Lyu, Lutao Jiang, Bin Ren, Jialei Chen, Jiawen Wang, Chengxin Li, Linfeng Zhang, Danda Pani Paudel, Xuanjing Huang, Yu-Gang Jiang, Nicu Sebe, Dacheng Tao, Luc Van Gool, Xuming Hu

cs.AI

Zusammenfassung

Jüngste Fortschritte bei Multimodalen Großen Sprachmodellen (MLLMs) haben vielversprechende Ergebnisse bei der Integration verschiedener Modalitäten wie Texte und Bilder gezeigt. MLLMs werden stark durch Modalitätsbias beeinflusst, wobei sie sich oft auf Sprache verlassen und andere Modalitäten wie visuelle Eingaben unterausnutzen. Dieses Positionspapier argumentiert, dass MLLMs tiefgreifend von Modalitätsbias betroffen sind. Erstens diagnostizieren wir den aktuellen Stand des Modalitätsbias und heben dessen Ausprägungen in verschiedenen Aufgaben hervor. Zweitens schlagen wir einen systematischen Forschungsfahrplan im Zusammenhang mit Modalitätsbias in MLLMs vor. Drittens identifizieren wir Schlüsselfaktoren des Modalitätsbias in MLLMs und bieten umsetzbare Vorschläge für zukünftige Forschung, um diesen zu mildern. Um diese Erkenntnisse zu untermauern, führen wir Experimente durch, die den Einfluss jedes Faktors demonstrieren: 1. Datencharakteristika: Sprachdaten sind kompakt und abstrakt, während visuelle Daten redundant und komplex sind, was ein inhärentes Ungleichgewicht in den Lernprozessen schafft. 2. Ungleiche Fähigkeiten der Backbone-Modelle: Die Dominanz vortrainierter Sprachmodelle in MLLMs führt zu einer Überbetonung von Sprache und einer Vernachlässigung visueller Informationen. 3. Trainingsziele: Aktuelle Ziele fördern oft keine ausgewogene cross-modale Ausrichtung, was zu einem Shortcut-Lernen führt, das auf Sprache ausgerichtet ist. Diese Erkenntnisse unterstreichen die Notwendigkeit ausgewogener Trainingsstrategien und Modellarchitekturen, um mehrere Modalitäten in MLLMs besser zu integrieren. Wir fordern interdisziplinäre Bemühungen, um diese Herausforderungen zu bewältigen und Innovationen in der MLLM-Forschung voranzutreiben. Unsere Arbeit bietet eine neue Perspektive auf Modalitätsbias in MLLMs und liefert Erkenntnisse für die Entwicklung robusterer und generalisierbarer multimodaler Systeme – ein Fortschritt hin zu Künstlicher Allgemeiner Intelligenz.

English

Recent advances in Multimodal Large Language Models (MLLMs) have shown promising results in integrating diverse modalities such as texts and images. MLLMs are heavily influenced by modality bias, often relying on language while under-utilizing other modalities like visual inputs. This position paper argues that MLLMs are deeply affected by modality bias. Firstly, we diagnose the current state of modality bias, highlighting its manifestations across various tasks. Secondly, we propose a systematic research road-map related to modality bias in MLLMs. Thirdly, we identify key factors of modality bias in MLLMs and offer actionable suggestions for future research to mitigate it. To substantiate these findings, we conduct experiments that demonstrate the influence of each factor: 1. Data Characteristics: Language data is compact and abstract, while visual data is redundant and complex, creating an inherent imbalance in learning dynamics. 2. Imbalanced Backbone Capabilities: The dominance of pretrained language models in MLLMs leads to overreliance on language and neglect of visual information. 3. Training Objectives: Current objectives often fail to promote balanced cross-modal alignment, resulting in shortcut learning biased toward language. These findings highlight the need for balanced training strategies and model architectures to better integrate multiple modalities in MLLMs. We call for interdisciplinary efforts to tackle these challenges and drive innovation in MLLM research. Our work provides a fresh perspective on modality bias in MLLMs and offers insights for developing more robust and generalizable multimodal systems-advancing progress toward Artificial General Intelligence.