Evaluación y Dirección de las Preferencias de Modalidad en Modelos de Lenguaje Multimodales de Gran Escala
Evaluating and Steering Modality Preferences in Multimodal Large Language Model
May 27, 2025
Autores: Yu Zhang, Jinlong Ma, Yongshuai Hou, Xuefeng Bai, Kehai Chen, Yang Xiang, Jun Yu, Min Zhang
cs.AI
Resumen
Los modelos de lenguaje multimodal de gran escala (MLLMs, por sus siglas en inglés) han logrado un rendimiento notable en tareas complejas con contexto multimodal. Sin embargo, aún se desconoce si muestran preferencia de modalidad al procesar contextos multimodales. Para estudiar esta cuestión, primero construimos un punto de referencia MC\textsuperscript{2} bajo escenarios controlados de conflicto de evidencia, con el fin de evaluar sistemáticamente la preferencia de modalidad, que es la tendencia a favorecer una modalidad sobre otra al tomar decisiones basadas en evidencia multimodal conflictiva. Nuestra evaluación exhaustiva revela que los 18 MLLMs probados generalmente demuestran un sesgo de modalidad claro, y que la preferencia de modalidad puede verse influenciada por intervenciones externas. Un análisis en profundidad muestra que la dirección de la preferencia puede capturarse dentro de las representaciones latentes de los MLLMs. Basándonos en esto, proponemos un método de sondeo y direccionamiento basado en la ingeniería de representaciones para controlar explícitamente la preferencia de modalidad sin necesidad de ajustes adicionales o indicaciones cuidadosamente elaboradas. Nuestro método amplifica efectivamente la preferencia de modalidad hacia una dirección deseada y se aplica a tareas posteriores, como la mitigación de alucinaciones y la traducción automática multimodal, obteniendo mejoras prometedoras.
English
Multimodal large language models (MLLMs) have achieved remarkable performance
on complex tasks with multimodal context. However, it is still understudied
whether they exhibit modality preference when processing multimodal contexts.
To study this question, we first build a MC\textsuperscript{2}
benchmark under controlled evidence conflict scenarios to systematically
evaluate modality preference, which is the tendency to favor one modality over
another when making decisions based on multimodal conflicting evidence. Our
extensive evaluation reveals that all 18 tested MLLMs generally demonstrate
clear modality bias, and modality preference can be influenced by external
interventions. An in-depth analysis reveals that the preference direction can
be captured within the latent representations of MLLMs. Built on this, we
propose a probing and steering method based on representation engineering to
explicitly control modality preference without additional fine-tuning or
carefully crafted prompts. Our method effectively amplifies modality preference
toward a desired direction and applies to downstream tasks such as
hallucination mitigation and multimodal machine translation, yielding promising
improvements.