Réglage du Goulot d'Étranglement dans les Instructions Visuelles

Visual Instruction Bottleneck Tuning

May 20, 2025

Auteurs: Changdae Oh, Jiatong Li, Shawn Im, Yixuan Li

cs.AI

Résumé

Malgré leur adoption généralisée, les modèles de langage multimodaux de grande taille (MLLMs) subissent une dégradation de performance lorsqu'ils sont confrontés à des requêtes non familières en cas de décalages de distribution. Les méthodes existantes pour améliorer la généralisation des MLLMs nécessitent généralement soit davantage de données d'instruction, soit des architectures de modèles plus avancées, ce qui entraîne des coûts non négligeables en termes de main-d'œuvre humaine ou de calcul. Dans ce travail, nous adoptons une approche alternative pour renforcer la robustesse des MLLMs face aux décalages de distribution, en nous plaçant du point de vue de l'apprentissage de représentations. Inspirés par le principe du goulot d'étranglement d'information (IB), nous dérivons une borne inférieure variationnelle de l'IB pour les MLLMs et concevons une implémentation pratique, le réglage par goulot d'étranglement d'instruction visuelle (Vittle). Nous justifions ensuite théoriquement Vittle en révélant son lien avec une métrique de robustesse informationnelle des MLLMs. Une validation empirique de trois MLLMs sur des tâches de réponse à des questions ouvertes et fermées ainsi que de détection d'hallucinations d'objets, sur 45 ensembles de données incluant 30 scénarios de décalage, démontre que Vittle améliore systématiquement la robustesse des MLLMs face aux décalages en visant l'apprentissage d'une représentation minimale suffisante.

English

Despite widespread adoption, multimodal large language models (MLLMs) suffer performance degradation when encountering unfamiliar queries under distribution shifts. Existing methods to improve MLLM generalization typically require either more instruction data or larger advanced model architectures, both of which incur non-trivial human labor or computational costs. In this work, we take an alternative approach to enhance the robustness of MLLMs under distribution shifts, from a representation learning perspective. Inspired by the information bottleneck (IB) principle, we derive a variational lower bound of the IB for MLLMs and devise a practical implementation, Visual Instruction Bottleneck Tuning (Vittle). We then provide a theoretical justification of Vittle by revealing its connection to an information-theoretic robustness metric of MLLM. Empirical validation of three MLLMs on open-ended and closed-form question answering and object hallucination detection tasks over 45 datasets, including 30 shift scenarios, demonstrates that Vittle consistently improves the MLLM's robustness under shifts by pursuing the learning of a minimal sufficient representation.