MLLM значительно подвержены влиянию модальной предвзятости

MLLMs are Deeply Affected by Modality Bias

May 24, 2025

Авторы: Xu Zheng, Chenfei Liao, Yuqian Fu, Kaiyu Lei, Yuanhuiyi Lyu, Lutao Jiang, Bin Ren, Jialei Chen, Jiawen Wang, Chengxin Li, Linfeng Zhang, Danda Pani Paudel, Xuanjing Huang, Yu-Gang Jiang, Nicu Sebe, Dacheng Tao, Luc Van Gool, Xuming Hu

cs.AI

Аннотация

Последние достижения в области мультимодальных больших языковых моделей (MLLMs) продемонстрировали многообещающие результаты в интеграции различных модальностей, таких как тексты и изображения. MLLMs подвержены значительному влиянию модальностного смещения, часто полагаясь на язык и недостаточно используя другие модальности, такие как визуальные данные. В данной позиционной статье утверждается, что MLLMs глубоко подвержены модальностному смещению. Во-первых, мы диагностируем текущее состояние модальностного смещения, выделяя его проявления в различных задачах. Во-вторых, мы предлагаем систематическую дорожную карту исследований, связанных с модальностным смещением в MLLMs. В-третьих, мы определяем ключевые факторы модальностного смещения в MLLMs и предлагаем практические рекомендации для будущих исследований с целью его смягчения. Для подтверждения этих выводов мы проводим эксперименты, демонстрирующие влияние каждого фактора: 1. Характеристики данных: Языковые данные компактны и абстрактны, в то время как визуальные данные избыточны и сложны, что создает внутренний дисбаланс в динамике обучения. 2. Несбалансированные возможности базовых моделей: Доминирование предобученных языковых моделей в MLLMs приводит к чрезмерной зависимости от языка и пренебрежению визуальной информацией. 3. Цели обучения: Текущие цели обучения часто не способствуют сбалансированному кросс-модальному выравниванию, что приводит к обучению с использованием "коротких путей", смещенных в сторону языка. Эти результаты подчеркивают необходимость сбалансированных стратегий обучения и архитектур моделей для более эффективной интеграции множественных модальностей в MLLMs. Мы призываем к междисциплинарным усилиям для решения этих задач и стимулирования инноваций в исследованиях MLLMs. Наша работа предлагает новый взгляд на модальностное смещение в MLLMs и предоставляет идеи для разработки более устойчивых и обобщаемых мультимодальных систем, способствуя прогрессу в направлении Искусственного Общего Интеллекта.

English

Recent advances in Multimodal Large Language Models (MLLMs) have shown promising results in integrating diverse modalities such as texts and images. MLLMs are heavily influenced by modality bias, often relying on language while under-utilizing other modalities like visual inputs. This position paper argues that MLLMs are deeply affected by modality bias. Firstly, we diagnose the current state of modality bias, highlighting its manifestations across various tasks. Secondly, we propose a systematic research road-map related to modality bias in MLLMs. Thirdly, we identify key factors of modality bias in MLLMs and offer actionable suggestions for future research to mitigate it. To substantiate these findings, we conduct experiments that demonstrate the influence of each factor: 1. Data Characteristics: Language data is compact and abstract, while visual data is redundant and complex, creating an inherent imbalance in learning dynamics. 2. Imbalanced Backbone Capabilities: The dominance of pretrained language models in MLLMs leads to overreliance on language and neglect of visual information. 3. Training Objectives: Current objectives often fail to promote balanced cross-modal alignment, resulting in shortcut learning biased toward language. These findings highlight the need for balanced training strategies and model architectures to better integrate multiple modalities in MLLMs. We call for interdisciplinary efforts to tackle these challenges and drive innovation in MLLM research. Our work provides a fresh perspective on modality bias in MLLMs and offers insights for developing more robust and generalizable multimodal systems-advancing progress toward Artificial General Intelligence.