視覚的指示ボトルネックチューニング

Visual Instruction Bottleneck Tuning

May 20, 2025

著者: Changdae Oh, Jiatong Li, Shawn Im, Yixuan Li

cs.AI

要旨

広く採用されているにもかかわらず、マルチモーダル大規模言語モデル（MLLMs）は、分布シフト下で未知のクエリに遭遇すると性能が低下するという課題を抱えています。既存のMLLMの汎化性能を向上させる手法は、通常、より多くの指示データまたはより大規模で高度なモデルアーキテクチャを必要とし、いずれも多大な人的労力や計算コストを伴います。本研究では、分布シフト下でのMLLMのロバスト性を向上させるための代替アプローチを、表現学習の観点から提案します。情報ボトルネック（IB）原理に着想を得て、MLLMのためのIBの変分下限を導出し、その実用的な実装としてVisual Instruction Bottleneck Tuning（Vittle）を考案しました。さらに、VittleとMLLMの情報理論的ロバスト性指標との関連性を明らかにすることで、その理論的正当性を示します。45のデータセット（うち30のシフトシナリオを含む）における自由回答形式および選択式の質問応答、および物体幻覚検出タスクにおいて、3つのMLLMを実証的に検証した結果、Vittleが最小十分表現の学習を追求することで、シフト下でのMLLMのロバスト性を一貫して向上させることが示されました。

English

Despite widespread adoption, multimodal large language models (MLLMs) suffer performance degradation when encountering unfamiliar queries under distribution shifts. Existing methods to improve MLLM generalization typically require either more instruction data or larger advanced model architectures, both of which incur non-trivial human labor or computational costs. In this work, we take an alternative approach to enhance the robustness of MLLMs under distribution shifts, from a representation learning perspective. Inspired by the information bottleneck (IB) principle, we derive a variational lower bound of the IB for MLLMs and devise a practical implementation, Visual Instruction Bottleneck Tuning (Vittle). We then provide a theoretical justification of Vittle by revealing its connection to an information-theoretic robustness metric of MLLM. Empirical validation of three MLLMs on open-ended and closed-form question answering and object hallucination detection tasks over 45 datasets, including 30 shift scenarios, demonstrates that Vittle consistently improves the MLLM's robustness under shifts by pursuing the learning of a minimal sufficient representation.