Évaluation et pilotage des préférences modales dans les modèles de langage multimodal de grande échelle
Evaluating and Steering Modality Preferences in Multimodal Large Language Model
May 27, 2025
Auteurs: Yu Zhang, Jinlong Ma, Yongshuai Hou, Xuefeng Bai, Kehai Chen, Yang Xiang, Jun Yu, Min Zhang
cs.AI
Résumé
Les modèles de langage multimodaux de grande envergure (MLLMs) ont obtenu des performances remarquables sur des tâches complexes impliquant un contexte multimodal. Cependant, il reste encore peu étudié s'ils présentent une préférence modale lors du traitement de contextes multimodaux. Pour étudier cette question, nous avons d'abord construit un benchmark MC\textsuperscript{2} dans des scénarios de conflit de preuves contrôlés afin d'évaluer systématiquement la préférence modale, c'est-à-dire la tendance à favoriser une modalité par rapport à une autre lors de la prise de décisions basées sur des preuves multimodales conflictuelles. Notre évaluation approfondie révèle que les 18 MLLMs testés démontrent généralement un biais modal clair, et que la préférence modale peut être influencée par des interventions externes. Une analyse approfondie montre que la direction de la préférence peut être capturée dans les représentations latentes des MLLMs. Sur cette base, nous proposons une méthode de sondage et de pilotage basée sur l'ingénierie des représentations pour contrôler explicitement la préférence modale sans nécessiter de réglage fin supplémentaire ou de prompts soigneusement élaborés. Notre méthode amplifie efficacement la préférence modale dans une direction souhaitée et s'applique à des tâches en aval telles que l'atténuation des hallucinations et la traduction automatique multimodale, apportant des améliorations prometteuses.
English
Multimodal large language models (MLLMs) have achieved remarkable performance
on complex tasks with multimodal context. However, it is still understudied
whether they exhibit modality preference when processing multimodal contexts.
To study this question, we first build a MC\textsuperscript{2}
benchmark under controlled evidence conflict scenarios to systematically
evaluate modality preference, which is the tendency to favor one modality over
another when making decisions based on multimodal conflicting evidence. Our
extensive evaluation reveals that all 18 tested MLLMs generally demonstrate
clear modality bias, and modality preference can be influenced by external
interventions. An in-depth analysis reveals that the preference direction can
be captured within the latent representations of MLLMs. Built on this, we
propose a probing and steering method based on representation engineering to
explicitly control modality preference without additional fine-tuning or
carefully crafted prompts. Our method effectively amplifies modality preference
toward a desired direction and applies to downstream tasks such as
hallucination mitigation and multimodal machine translation, yielding promising
improvements.