Ottimizzazione del Collo di Bottiglia nelle Istruzioni Visive

Abstract

Nonostante la diffusa adozione, i modelli linguistici multimodali di grandi dimensioni (MLLM) subiscono un degrado delle prestazioni quando si trovano ad affrontare query non familiari in presenza di cambiamenti nella distribuzione dei dati. I metodi esistenti per migliorare la generalizzazione degli MLLM richiedono tipicamente una maggiore quantità di dati di istruzione o architetture di modelli più avanzate, entrambe soluzioni che comportano costi non trascurabili in termini di lavoro umano o risorse computazionali. In questo lavoro, adottiamo un approccio alternativo per migliorare la robustezza degli MLLM in presenza di cambiamenti nella distribuzione, partendo da una prospettiva di apprendimento delle rappresentazioni. Ispirati dal principio del collo di bottiglia informativo (IB), deriviamo un limite inferiore variazionale dell'IB per gli MLLM e sviluppiamo un'implementazione pratica, denominata Visual Instruction Bottleneck Tuning (Vittle). Forniamo quindi una giustificazione teorica di Vittle rivelando la sua connessione con una metrica di robustezza di tipo informativo per gli MLLM. La validazione empirica di tre MLLM su compiti di risposta a domande aperte e chiuse e di rilevamento di allucinazioni oggettuali su 45 dataset, inclusi 30 scenari di cambiamento, dimostra che Vittle migliora costantemente la robustezza degli MLLM in presenza di cambiamenti perseguendo l'apprendimento di una rappresentazione minimale sufficiente.

English

Despite widespread adoption, multimodal large language models (MLLMs) suffer performance degradation when encountering unfamiliar queries under distribution shifts. Existing methods to improve MLLM generalization typically require either more instruction data or larger advanced model architectures, both of which incur non-trivial human labor or computational costs. In this work, we take an alternative approach to enhance the robustness of MLLMs under distribution shifts, from a representation learning perspective. Inspired by the information bottleneck (IB) principle, we derive a variational lower bound of the IB for MLLMs and devise a practical implementation, Visual Instruction Bottleneck Tuning (Vittle). We then provide a theoretical justification of Vittle by revealing its connection to an information-theoretic robustness metric of MLLM. Empirical validation of three MLLMs on open-ended and closed-form question answering and object hallucination detection tasks over 45 datasets, including 30 shift scenarios, demonstrates that Vittle consistently improves the MLLM's robustness under shifts by pursuing the learning of a minimal sufficient representation.