Les MLLM sont fortement influencés par les biais de modalité.

MLLMs are Deeply Affected by Modality Bias

May 24, 2025

Auteurs: Xu Zheng, Chenfei Liao, Yuqian Fu, Kaiyu Lei, Yuanhuiyi Lyu, Lutao Jiang, Bin Ren, Jialei Chen, Jiawen Wang, Chengxin Li, Linfeng Zhang, Danda Pani Paudel, Xuanjing Huang, Yu-Gang Jiang, Nicu Sebe, Dacheng Tao, Luc Van Gool, Xuming Hu

cs.AI

Résumé

Les récentes avancées dans les modèles de langage multimodaux de grande taille (MLLMs) ont montré des résultats prometteurs dans l'intégration de modalités diverses telles que les textes et les images. Les MLLMs sont fortement influencés par le biais de modalité, se reposant souvent sur le langage tout en sous-utilisant d'autres modalités comme les entrées visuelles. Ce document de position soutient que les MLLMs sont profondément affectés par le biais de modalité. Premièrement, nous diagnostiquons l'état actuel du biais de modalité, en mettant en lumière ses manifestations à travers diverses tâches. Deuxièmement, nous proposons une feuille de route de recherche systématique liée au biais de modalité dans les MLLMs. Troisièmement, nous identifions les facteurs clés du biais de modalité dans les MLLMs et offrons des suggestions concrètes pour les recherches futures afin de l'atténuer. Pour étayer ces conclusions, nous menons des expériences qui démontrent l'influence de chaque facteur : 1. Caractéristiques des données : Les données linguistiques sont compactes et abstraites, tandis que les données visuelles sont redondantes et complexes, créant un déséquilibre inhérent dans la dynamique d'apprentissage. 2. Capacités déséquilibrées des modèles de base : La dominance des modèles de langage pré-entraînés dans les MLLMs conduit à une surdépendance au langage et à une négligence des informations visuelles. 3. Objectifs d'entraînement : Les objectifs actuels échouent souvent à promouvoir un alignement intermodal équilibré, résultant en un apprentissage par raccourci biaisé vers le langage. Ces résultats soulignent la nécessité de stratégies d'entraînement et d'architectures de modèles équilibrées pour mieux intégrer les multiples modalités dans les MLLMs. Nous appelons à des efforts interdisciplinaires pour relever ces défis et stimuler l'innovation dans la recherche sur les MLLMs. Notre travail offre une perspective nouvelle sur le biais de modalité dans les MLLMs et fournit des insights pour développer des systèmes multimodaux plus robustes et généralisables, faisant progresser la quête vers l'Intelligence Artificielle Générale.

English

Recent advances in Multimodal Large Language Models (MLLMs) have shown promising results in integrating diverse modalities such as texts and images. MLLMs are heavily influenced by modality bias, often relying on language while under-utilizing other modalities like visual inputs. This position paper argues that MLLMs are deeply affected by modality bias. Firstly, we diagnose the current state of modality bias, highlighting its manifestations across various tasks. Secondly, we propose a systematic research road-map related to modality bias in MLLMs. Thirdly, we identify key factors of modality bias in MLLMs and offer actionable suggestions for future research to mitigate it. To substantiate these findings, we conduct experiments that demonstrate the influence of each factor: 1. Data Characteristics: Language data is compact and abstract, while visual data is redundant and complex, creating an inherent imbalance in learning dynamics. 2. Imbalanced Backbone Capabilities: The dominance of pretrained language models in MLLMs leads to overreliance on language and neglect of visual information. 3. Training Objectives: Current objectives often fail to promote balanced cross-modal alignment, resulting in shortcut learning biased toward language. These findings highlight the need for balanced training strategies and model architectures to better integrate multiple modalities in MLLMs. We call for interdisciplinary efforts to tackle these challenges and drive innovation in MLLM research. Our work provides a fresh perspective on modality bias in MLLMs and offers insights for developing more robust and generalizable multimodal systems-advancing progress toward Artificial General Intelligence.