Os MLLMs são profundamente afetados pelo viés de modalidade.

Resumo

Os recentes avanços nos Modelos de Linguagem Multimodais de Grande Escala (MLLMs) têm mostrado resultados promissores na integração de diversas modalidades, como textos e imagens. No entanto, os MLLMs são fortemente influenciados pelo viés de modalidade, frequentemente dependendo da linguagem enquanto subutilizam outras modalidades, como entradas visuais. Este artigo de posicionamento argumenta que os MLLMs são profundamente afetados pelo viés de modalidade. Primeiramente, diagnosticamos o estado atual do viés de modalidade, destacando suas manifestações em várias tarefas. Em segundo lugar, propomos um roteiro de pesquisa sistemático relacionado ao viés de modalidade em MLLMs. Terceiro, identificamos os principais fatores do viés de modalidade em MLLMs e oferecemos sugestões práticas para pesquisas futuras que visem mitigá-lo. Para corroborar essas descobertas, conduzimos experimentos que demonstram a influência de cada fator: 1. Características dos Dados: Os dados linguísticos são compactos e abstratos, enquanto os dados visuais são redundantes e complexos, criando um desequilíbrio inerente na dinâmica de aprendizado. 2. Capacidades Desequilibradas do Backbone: A dominância de modelos de linguagem pré-treinados em MLLMs leva a uma dependência excessiva da linguagem e ao descuido das informações visuais. 3. Objetivos de Treinamento: Os objetivos atuais frequentemente falham em promover um alinhamento multimodal equilibrado, resultando em um aprendizado por atalhos tendencioso para a linguagem. Essas descobertas destacam a necessidade de estratégias de treinamento e arquiteturas de modelo mais equilibradas para integrar melhor múltiplas modalidades em MLLMs. Conclamamos esforços interdisciplinares para enfrentar esses desafios e impulsionar a inovação na pesquisa de MLLMs. Nosso trabalho oferece uma nova perspectiva sobre o viés de modalidade em MLLMs e fornece insights para o desenvolvimento de sistemas multimodais mais robustos e generalizáveis, avançando o progresso em direção à Inteligência Artificial Geral.

English

Recent advances in Multimodal Large Language Models (MLLMs) have shown promising results in integrating diverse modalities such as texts and images. MLLMs are heavily influenced by modality bias, often relying on language while under-utilizing other modalities like visual inputs. This position paper argues that MLLMs are deeply affected by modality bias. Firstly, we diagnose the current state of modality bias, highlighting its manifestations across various tasks. Secondly, we propose a systematic research road-map related to modality bias in MLLMs. Thirdly, we identify key factors of modality bias in MLLMs and offer actionable suggestions for future research to mitigate it. To substantiate these findings, we conduct experiments that demonstrate the influence of each factor: 1. Data Characteristics: Language data is compact and abstract, while visual data is redundant and complex, creating an inherent imbalance in learning dynamics. 2. Imbalanced Backbone Capabilities: The dominance of pretrained language models in MLLMs leads to overreliance on language and neglect of visual information. 3. Training Objectives: Current objectives often fail to promote balanced cross-modal alignment, resulting in shortcut learning biased toward language. These findings highlight the need for balanced training strategies and model architectures to better integrate multiple modalities in MLLMs. We call for interdisciplinary efforts to tackle these challenges and drive innovation in MLLM research. Our work provides a fresh perspective on modality bias in MLLMs and offers insights for developing more robust and generalizable multimodal systems-advancing progress toward Artificial General Intelligence.

Os MLLMs são profundamente afetados pelo viés de modalidade.

MLLMs are Deeply Affected by Modality Bias

Resumo

Support