I MLLM sono fortemente influenzati dal bias di modalità.

Abstract

I recenti progressi nei Modelli Linguistici Multimodali di Grande Scala (MLLMs) hanno mostrato risultati promettenti nell'integrazione di diverse modalità come testi e immagini. Gli MLLMs sono fortemente influenzati dal bias modale, spesso affidandosi al linguaggio mentre sottoutilizzano altre modalità come gli input visivi. Questo position paper sostiene che gli MLLMs sono profondamente affetti dal bias modale. In primo luogo, diagnostichiamo lo stato attuale del bias modale, evidenziandone le manifestazioni in vari compiti. In secondo luogo, proponiamo una roadmap di ricerca sistematica relativa al bias modale negli MLLMs. In terzo luogo, identifichiamo i fattori chiave del bias modale negli MLLMs e offriamo suggerimenti praticabili per future ricerche per mitigarlo. Per corroborare questi risultati, conduciamo esperimenti che dimostrano l'influenza di ciascun fattore: 1. Caratteristiche dei Dati: I dati linguistici sono compatti e astratti, mentre i dati visivi sono ridondanti e complessi, creando uno squilibrio intrinseco nelle dinamiche di apprendimento. 2. Capacità Sbilanciate del Backbone: La predominanza di modelli linguistici pre-addestrati negli MLLMs porta a un'eccessiva dipendenza dal linguaggio e alla trascuratezza delle informazioni visive. 3. Obiettivi di Addestramento: Gli obiettivi attuali spesso non promuovono un allineamento cross-modale bilanciato, risultando in un apprendimento scorciatoia sbilanciato verso il linguaggio. Questi risultati evidenziano la necessità di strategie di addestramento e architetture di modello bilanciate per integrare meglio più modalità negli MLLMs. Invitiamo a sforzi interdisciplinari per affrontare queste sfide e guidare l'innovazione nella ricerca sugli MLLMs. Il nostro lavoro offre una nuova prospettiva sul bias modale negli MLLMs e fornisce spunti per sviluppare sistemi multimodali più robusti e generalizzabili, avanzando il progresso verso l'Intelligenza Artificiale Generale.

English

Recent advances in Multimodal Large Language Models (MLLMs) have shown promising results in integrating diverse modalities such as texts and images. MLLMs are heavily influenced by modality bias, often relying on language while under-utilizing other modalities like visual inputs. This position paper argues that MLLMs are deeply affected by modality bias. Firstly, we diagnose the current state of modality bias, highlighting its manifestations across various tasks. Secondly, we propose a systematic research road-map related to modality bias in MLLMs. Thirdly, we identify key factors of modality bias in MLLMs and offer actionable suggestions for future research to mitigate it. To substantiate these findings, we conduct experiments that demonstrate the influence of each factor: 1. Data Characteristics: Language data is compact and abstract, while visual data is redundant and complex, creating an inherent imbalance in learning dynamics. 2. Imbalanced Backbone Capabilities: The dominance of pretrained language models in MLLMs leads to overreliance on language and neglect of visual information. 3. Training Objectives: Current objectives often fail to promote balanced cross-modal alignment, resulting in shortcut learning biased toward language. These findings highlight the need for balanced training strategies and model architectures to better integrate multiple modalities in MLLMs. We call for interdisciplinary efforts to tackle these challenges and drive innovation in MLLM research. Our work provides a fresh perspective on modality bias in MLLMs and offers insights for developing more robust and generalizable multimodal systems-advancing progress toward Artificial General Intelligence.

I MLLM sono fortemente influenzati dal bias di modalità.

MLLMs are Deeply Affected by Modality Bias

Abstract

Support