Bewertung und Steuerung von Modalitätspräferenzen in multimodalen großen Sprachmodellen
Evaluating and Steering Modality Preferences in Multimodal Large Language Model
May 27, 2025
Autoren: Yu Zhang, Jinlong Ma, Yongshuai Hou, Xuefeng Bai, Kehai Chen, Yang Xiang, Jun Yu, Min Zhang
cs.AI
Zusammenfassung
Multimodale große Sprachmodelle (MLLMs) haben bemerkenswerte Leistungen bei komplexen Aufgaben mit multimodalem Kontext erzielt. Es ist jedoch noch unzureichend erforscht, ob sie eine Modalitätspräferenz aufweisen, wenn sie multimodale Kontexte verarbeiten. Um diese Frage zu untersuchen, haben wir zunächst einen MC\textsuperscript{2}-Benchmark unter kontrollierten Evidenzkonfliktszenarien entwickelt, um systematisch die Modalitätspräferenz zu bewerten, d.h. die Tendenz, eine Modalität gegenüber einer anderen zu bevorzugen, wenn Entscheidungen auf der Grundlage von multimodalem widersprüchlichem Kontext getroffen werden. Unsere umfangreiche Auswertung zeigt, dass alle 18 getesteten MLLMs im Allgemeinen eine deutliche Modalitätsverzerrung aufweisen und dass die Modalitätspräferenz durch externe Eingriffe beeinflusst werden kann. Eine vertiefte Analyse zeigt, dass die Präferenzrichtung innerhalb der latenten Repräsentationen der MLLMs erfasst werden kann. Aufbauend darauf schlagen wir eine Methode zur Untersuchung und Steuerung basierend auf Repräsentationsengineering vor, um die Modalitätspräferenz explizit zu kontrollieren, ohne zusätzliches Fine-Tuning oder sorgfältig gestaltete Prompts. Unsere Methode verstärkt effektiv die Modalitätspräferenz in eine gewünschte Richtung und eignet sich für nachgelagerte Aufgaben wie die Minderung von Halluzinationen und multimodale maschinelle Übersetzung, wodurch vielversprechende Verbesserungen erzielt werden.
English
Multimodal large language models (MLLMs) have achieved remarkable performance
on complex tasks with multimodal context. However, it is still understudied
whether they exhibit modality preference when processing multimodal contexts.
To study this question, we first build a MC\textsuperscript{2}
benchmark under controlled evidence conflict scenarios to systematically
evaluate modality preference, which is the tendency to favor one modality over
another when making decisions based on multimodal conflicting evidence. Our
extensive evaluation reveals that all 18 tested MLLMs generally demonstrate
clear modality bias, and modality preference can be influenced by external
interventions. An in-depth analysis reveals that the preference direction can
be captured within the latent representations of MLLMs. Built on this, we
propose a probing and steering method based on representation engineering to
explicitly control modality preference without additional fine-tuning or
carefully crafted prompts. Our method effectively amplifies modality preference
toward a desired direction and applies to downstream tasks such as
hallucination mitigation and multimodal machine translation, yielding promising
improvements.