Evaluación y Dirección de las Preferencias de Modalidad en Modelos de Lenguaje Multimodales de Gran Escala

Evaluating and Steering Modality Preferences in Multimodal Large Language Model

May 27, 2025

Autores: Yu Zhang, Jinlong Ma, Yongshuai Hou, Xuefeng Bai, Kehai Chen, Yang Xiang, Jun Yu, Min Zhang

cs.AI

Resumen

Los modelos de lenguaje multimodal de gran escala (MLLMs, por sus siglas en inglés) han logrado un rendimiento notable en tareas complejas con contexto multimodal. Sin embargo, aún se desconoce si muestran preferencia de modalidad al procesar contextos multimodales. Para estudiar esta cuestión, primero construimos un punto de referencia MC\textsuperscript{2} bajo escenarios controlados de conflicto de evidencia, con el fin de evaluar sistemáticamente la preferencia de modalidad, que es la tendencia a favorecer una modalidad sobre otra al tomar decisiones basadas en evidencia multimodal conflictiva. Nuestra evaluación exhaustiva revela que los 18 MLLMs probados generalmente demuestran un sesgo de modalidad claro, y que la preferencia de modalidad puede verse influenciada por intervenciones externas. Un análisis en profundidad muestra que la dirección de la preferencia puede capturarse dentro de las representaciones latentes de los MLLMs. Basándonos en esto, proponemos un método de sondeo y direccionamiento basado en la ingeniería de representaciones para controlar explícitamente la preferencia de modalidad sin necesidad de ajustes adicionales o indicaciones cuidadosamente elaboradas. Nuestro método amplifica efectivamente la preferencia de modalidad hacia una dirección deseada y se aplica a tareas posteriores, como la mitigación de alucinaciones y la traducción automática multimodal, obteniendo mejoras prometedoras.

English

Multimodal large language models (MLLMs) have achieved remarkable performance on complex tasks with multimodal context. However, it is still understudied whether they exhibit modality preference when processing multimodal contexts. To study this question, we first build a MC\textsuperscript{2} benchmark under controlled evidence conflict scenarios to systematically evaluate modality preference, which is the tendency to favor one modality over another when making decisions based on multimodal conflicting evidence. Our extensive evaluation reveals that all 18 tested MLLMs generally demonstrate clear modality bias, and modality preference can be influenced by external interventions. An in-depth analysis reveals that the preference direction can be captured within the latent representations of MLLMs. Built on this, we propose a probing and steering method based on representation engineering to explicitly control modality preference without additional fine-tuning or carefully crafted prompts. Our method effectively amplifies modality preference toward a desired direction and applies to downstream tasks such as hallucination mitigation and multimodal machine translation, yielding promising improvements.