Avaliação e Direcionamento de Preferências de Modalidade em Modelos de Linguagem Multimodais de Grande Escala

Evaluating and Steering Modality Preferences in Multimodal Large Language Model

May 27, 2025

Autores: Yu Zhang, Jinlong Ma, Yongshuai Hou, Xuefeng Bai, Kehai Chen, Yang Xiang, Jun Yu, Min Zhang

cs.AI

Resumo

Modelos de linguagem multimodal de grande escala (MLLMs) alcançaram desempenho notável em tarefas complexas com contexto multimodal. No entanto, ainda é pouco estudado se eles exibem preferência de modalidade ao processar contextos multimodais. Para investigar essa questão, primeiro construímos um benchmark MC\textsuperscript{2} sob cenários controlados de conflito de evidências para avaliar sistematicamente a preferência de modalidade, que é a tendência de favorecer uma modalidade em detrimento de outra ao tomar decisões com base em evidências multimodais conflitantes. Nossa avaliação extensiva revela que todos os 18 MLLMs testados geralmente demonstram um viés de modalidade claro, e a preferência de modalidade pode ser influenciada por intervenções externas. Uma análise detalhada revela que a direção da preferência pode ser capturada nas representações latentes dos MLLMs. Com base nisso, propomos um método de sondagem e direcionamento baseado em engenharia de representações para controlar explicitamente a preferência de modalidade sem ajuste fino adicional ou prompts cuidadosamente elaborados. Nosso método amplifica efetivamente a preferência de modalidade em uma direção desejada e se aplica a tarefas subsequentes, como mitigação de alucinações e tradução automática multimodal, gerando melhorias promissoras.

English

Multimodal large language models (MLLMs) have achieved remarkable performance on complex tasks with multimodal context. However, it is still understudied whether they exhibit modality preference when processing multimodal contexts. To study this question, we first build a MC\textsuperscript{2} benchmark under controlled evidence conflict scenarios to systematically evaluate modality preference, which is the tendency to favor one modality over another when making decisions based on multimodal conflicting evidence. Our extensive evaluation reveals that all 18 tested MLLMs generally demonstrate clear modality bias, and modality preference can be influenced by external interventions. An in-depth analysis reveals that the preference direction can be captured within the latent representations of MLLMs. Built on this, we propose a probing and steering method based on representation engineering to explicitly control modality preference without additional fine-tuning or carefully crafted prompts. Our method effectively amplifies modality preference toward a desired direction and applies to downstream tasks such as hallucination mitigation and multimodal machine translation, yielding promising improvements.