Evaluatie en sturing van modaliteitsvoorkeuren in multimodale grote taalmodellen

Evaluating and Steering Modality Preferences in Multimodal Large Language Model

May 27, 2025

Auteurs: Yu Zhang, Jinlong Ma, Yongshuai Hou, Xuefeng Bai, Kehai Chen, Yang Xiang, Jun Yu, Min Zhang

cs.AI

Samenvatting

Multimodale grote taalmodellen (MLLMs) hebben opmerkelijke prestaties geleverd bij complexe taken met multimodale context. Het is echter nog steeds onderbelicht of ze een modaliteitsvoorkeur vertonen bij het verwerken van multimodale contexten. Om deze vraag te bestuderen, hebben we eerst een MC\textsuperscript{2}-benchmark ontwikkeld onder gecontroleerde scenario's met tegenstrijdig bewijs om systematisch modaliteitsvoorkeur te evalueren, wat de neiging is om één modaliteit boven een andere te verkiezen bij het nemen van beslissingen op basis van multimodaal tegenstrijdig bewijs. Onze uitgebreide evaluatie toont aan dat alle 18 geteste MLLMs over het algemeen een duidelijke modaliteitsbias vertonen, en dat modaliteitsvoorkeur kan worden beïnvloed door externe interventies. Een diepgaande analyse onthult dat de voorkeursrichting kan worden vastgelegd binnen de latente representaties van MLLMs. Op basis hiervan stellen we een methode voor op basis van representatie-engineering om expliciet modaliteitsvoorkeur te sturen zonder aanvullende fine-tuning of zorgvuldig ontworpen prompts. Onze methode versterkt effectief de modaliteitsvoorkeur in een gewenste richting en is toepasbaar op downstream taken zoals hallucinatiemitigatie en multimodale machinaalvertaling, wat veelbelovende verbeteringen oplevert.

English

Multimodal large language models (MLLMs) have achieved remarkable performance on complex tasks with multimodal context. However, it is still understudied whether they exhibit modality preference when processing multimodal contexts. To study this question, we first build a MC\textsuperscript{2} benchmark under controlled evidence conflict scenarios to systematically evaluate modality preference, which is the tendency to favor one modality over another when making decisions based on multimodal conflicting evidence. Our extensive evaluation reveals that all 18 tested MLLMs generally demonstrate clear modality bias, and modality preference can be influenced by external interventions. An in-depth analysis reveals that the preference direction can be captured within the latent representations of MLLMs. Built on this, we propose a probing and steering method based on representation engineering to explicitly control modality preference without additional fine-tuning or carefully crafted prompts. Our method effectively amplifies modality preference toward a desired direction and applies to downstream tasks such as hallucination mitigation and multimodal machine translation, yielding promising improvements.