Visuele Instructie Bottleneck Afstemming

Visual Instruction Bottleneck Tuning

May 20, 2025

Auteurs: Changdae Oh, Jiatong Li, Shawn Im, Yixuan Li

cs.AI

Samenvatting

Ondanks de brede adoptie, ervaren multimodale grote taalmodellen (MLLMs) prestatievermindering wanneer ze worden geconfronteerd met onbekende vragen onder distributieverschuivingen. Bestaande methoden om de generalisatie van MLLMs te verbeteren vereisen doorgaans ofwel meer instructiedata ofwel grotere geavanceerde modelarchitecturen, wat beide aanzienlijke menselijke inspanning of rekenkosten met zich meebrengt. In dit werk nemen we een alternatieve benadering om de robuustheid van MLLMs onder distributieverschuivingen te verbeteren, vanuit een representatieleerperspectief. Geïnspireerd door het informatiebottleneck (IB)-principe, leiden we een variatieel ondergrens af van de IB voor MLLMs en ontwikkelen we een praktische implementatie, Visual Instruction Bottleneck Tuning (Vittle). We geven vervolgens een theoretische rechtvaardiging van Vittle door de verbinding ervan met een informatie-theoretische robuustheidsmetriek van MLLM te onthullen. Empirische validatie van drie MLLMs op open-einde en gesloten-vorm vraag-antwoordtaken en objecthallucinatiedetectietaken over 45 datasets, waaronder 30 verschuivingsscenario's, toont aan dat Vittle consistent de robuustheid van MLLMs onder verschuivingen verbetert door het nastreven van het leren van een minimaal voldoende representatie.

English

Despite widespread adoption, multimodal large language models (MLLMs) suffer performance degradation when encountering unfamiliar queries under distribution shifts. Existing methods to improve MLLM generalization typically require either more instruction data or larger advanced model architectures, both of which incur non-trivial human labor or computational costs. In this work, we take an alternative approach to enhance the robustness of MLLMs under distribution shifts, from a representation learning perspective. Inspired by the information bottleneck (IB) principle, we derive a variational lower bound of the IB for MLLMs and devise a practical implementation, Visual Instruction Bottleneck Tuning (Vittle). We then provide a theoretical justification of Vittle by revealing its connection to an information-theoretic robustness metric of MLLM. Empirical validation of three MLLMs on open-ended and closed-form question answering and object hallucination detection tasks over 45 datasets, including 30 shift scenarios, demonstrates that Vittle consistently improves the MLLM's robustness under shifts by pursuing the learning of a minimal sufficient representation.