Los MLLM se ven profundamente afectados por el sesgo de modalidad.

MLLMs are Deeply Affected by Modality Bias

May 24, 2025

Autores: Xu Zheng, Chenfei Liao, Yuqian Fu, Kaiyu Lei, Yuanhuiyi Lyu, Lutao Jiang, Bin Ren, Jialei Chen, Jiawen Wang, Chengxin Li, Linfeng Zhang, Danda Pani Paudel, Xuanjing Huang, Yu-Gang Jiang, Nicu Sebe, Dacheng Tao, Luc Van Gool, Xuming Hu

cs.AI

Resumen

Los recientes avances en los Modelos de Lenguaje Multimodales de Gran Escala (MLLMs, por sus siglas en inglés) han mostrado resultados prometedores en la integración de diversas modalidades, como textos e imágenes. Sin embargo, los MLLMs están fuertemente influenciados por el sesgo de modalidad, a menudo dependiendo del lenguaje mientras subutilizan otras modalidades, como las entradas visuales. Este documento de posición argumenta que los MLLMs están profundamente afectados por el sesgo de modalidad. En primer lugar, diagnosticamos el estado actual del sesgo de modalidad, destacando sus manifestaciones en diversas tareas. En segundo lugar, proponemos una hoja de ruta sistemática de investigación relacionada con el sesgo de modalidad en los MLLMs. En tercer lugar, identificamos los factores clave del sesgo de modalidad en los MLLMs y ofrecemos sugerencias prácticas para futuras investigaciones que lo mitiguen. Para respaldar estos hallazgos, realizamos experimentos que demuestran la influencia de cada factor: 1. Características de los datos: los datos de lenguaje son compactos y abstractos, mientras que los datos visuales son redundantes y complejos, creando un desequilibrio inherente en la dinámica de aprendizaje. 2. Capacidades desequilibradas de los modelos base: el dominio de los modelos de lenguaje preentrenados en los MLLMs conduce a una dependencia excesiva del lenguaje y al descuido de la información visual. 3. Objetivos de entrenamiento: los objetivos actuales a menudo no promueven una alineación multimodal equilibrada, lo que resulta en un aprendizaje de atajos sesgado hacia el lenguaje. Estos hallazgos resaltan la necesidad de estrategias de entrenamiento y arquitecturas de modelos equilibradas para integrar mejor múltiples modalidades en los MLLMs. Hacemos un llamado a esfuerzos interdisciplinarios para abordar estos desafíos e impulsar la innovación en la investigación de MLLMs. Nuestro trabajo ofrece una nueva perspectiva sobre el sesgo de modalidad en los MLLMs y proporciona ideas para desarrollar sistemas multimodales más robustos y generalizables, avanzando hacia el progreso de la Inteligencia Artificial General.

English

Recent advances in Multimodal Large Language Models (MLLMs) have shown promising results in integrating diverse modalities such as texts and images. MLLMs are heavily influenced by modality bias, often relying on language while under-utilizing other modalities like visual inputs. This position paper argues that MLLMs are deeply affected by modality bias. Firstly, we diagnose the current state of modality bias, highlighting its manifestations across various tasks. Secondly, we propose a systematic research road-map related to modality bias in MLLMs. Thirdly, we identify key factors of modality bias in MLLMs and offer actionable suggestions for future research to mitigate it. To substantiate these findings, we conduct experiments that demonstrate the influence of each factor: 1. Data Characteristics: Language data is compact and abstract, while visual data is redundant and complex, creating an inherent imbalance in learning dynamics. 2. Imbalanced Backbone Capabilities: The dominance of pretrained language models in MLLMs leads to overreliance on language and neglect of visual information. 3. Training Objectives: Current objectives often fail to promote balanced cross-modal alignment, resulting in shortcut learning biased toward language. These findings highlight the need for balanced training strategies and model architectures to better integrate multiple modalities in MLLMs. We call for interdisciplinary efforts to tackle these challenges and drive innovation in MLLM research. Our work provides a fresh perspective on modality bias in MLLMs and offers insights for developing more robust and generalizable multimodal systems-advancing progress toward Artificial General Intelligence.