Visuelle Instruktions-Engpassfeinabstimmung

Visual Instruction Bottleneck Tuning

May 20, 2025

Autoren: Changdae Oh, Jiatong Li, Shawn Im, Yixuan Li

cs.AI

Zusammenfassung

Trotz weit verbreiteter Nutzung leiden multimodale große Sprachmodelle (MLLMs) unter Leistungseinbußen, wenn sie mit unbekannten Anfragen unter Verteilungsverschiebungen konfrontiert werden. Bestehende Methoden zur Verbesserung der Generalisierung von MLLMs erfordern typischerweise entweder mehr Instruktionsdaten oder größere, fortschrittlichere Modellarchitekturen, was beides erheblichen menschlichen Arbeitsaufwand oder Rechenkosten verursacht. In dieser Arbeit verfolgen wir einen alternativen Ansatz, um die Robustheit von MLLMs unter Verteilungsverschiebungen aus einer Repräsentationslernperspektive zu verbessern. Inspiriert vom Informationsengpassprinzip (Information Bottleneck, IB) leiten wir eine variationsbasierte untere Schranke des IB für MLLMs ab und entwickeln eine praktische Implementierung, das Visual Instruction Bottleneck Tuning (Vittle). Anschließend liefern wir eine theoretische Rechtfertigung für Vittle, indem wir seine Verbindung zu einem informationstheoretischen Robustheitsmaß für MLLMs aufzeigen. Die empirische Validierung von drei MLLMs bei offenen und geschlossenen Frage-Antwort-Aufgaben sowie der Erkennung von Objekthalluzinationen über 45 Datensätze, einschließlich 30 Szenarien mit Verteilungsverschiebungen, zeigt, dass Vittle die Robustheit von MLLMs unter Verschiebungen konsequent verbessert, indem es das Lernen einer minimal ausreichenden Repräsentation anstrebt.

English

Despite widespread adoption, multimodal large language models (MLLMs) suffer performance degradation when encountering unfamiliar queries under distribution shifts. Existing methods to improve MLLM generalization typically require either more instruction data or larger advanced model architectures, both of which incur non-trivial human labor or computational costs. In this work, we take an alternative approach to enhance the robustness of MLLMs under distribution shifts, from a representation learning perspective. Inspired by the information bottleneck (IB) principle, we derive a variational lower bound of the IB for MLLMs and devise a practical implementation, Visual Instruction Bottleneck Tuning (Vittle). We then provide a theoretical justification of Vittle by revealing its connection to an information-theoretic robustness metric of MLLM. Empirical validation of three MLLMs on open-ended and closed-form question answering and object hallucination detection tasks over 45 datasets, including 30 shift scenarios, demonstrates that Vittle consistently improves the MLLM's robustness under shifts by pursuing the learning of a minimal sufficient representation.