Визуальная настройка узкого места в инструкциях

Visual Instruction Bottleneck Tuning

May 20, 2025

Авторы: Changdae Oh, Jiatong Li, Shawn Im, Yixuan Li

cs.AI

Аннотация

Несмотря на широкое распространение, мультимодальные большие языковые модели (MLLMs) демонстрируют снижение производительности при столкновении с незнакомыми запросами в условиях сдвигов распределения. Существующие методы улучшения обобщающей способности MLLMs обычно требуют либо большего количества обучающих данных, либо более сложных архитектур моделей, что влечет за собой значительные затраты человеческого труда или вычислительных ресурсов. В данной работе мы предлагаем альтернативный подход для повышения устойчивости MLLMs при сдвигах распределения, основываясь на перспективе обучения представлений. Вдохновленные принципом информационного узкого места (IB), мы выводим вариационную нижнюю границу IB для MLLMs и разрабатываем практическую реализацию — настройку визуального инструктивного узкого места (Vittle). Затем мы предоставляем теоретическое обоснование Vittle, раскрывая его связь с информационно-теоретической метрикой устойчивости MLLM. Эмпирическая проверка трех MLLMs на задачах открытого и закрытого вопросно-ответного взаимодействия, а также обнаружения галлюцинаций объектов на 45 наборах данных, включая 30 сценариев сдвига, демонстрирует, что Vittle последовательно улучшает устойчивость MLLMs при сдвигах, стремясь к обучению минимально достаточного представления.

English

Despite widespread adoption, multimodal large language models (MLLMs) suffer performance degradation when encountering unfamiliar queries under distribution shifts. Existing methods to improve MLLM generalization typically require either more instruction data or larger advanced model architectures, both of which incur non-trivial human labor or computational costs. In this work, we take an alternative approach to enhance the robustness of MLLMs under distribution shifts, from a representation learning perspective. Inspired by the information bottleneck (IB) principle, we derive a variational lower bound of the IB for MLLMs and devise a practical implementation, Visual Instruction Bottleneck Tuning (Vittle). We then provide a theoretical justification of Vittle by revealing its connection to an information-theoretic robustness metric of MLLM. Empirical validation of three MLLMs on open-ended and closed-form question answering and object hallucination detection tasks over 45 datasets, including 30 shift scenarios, demonstrates that Vittle consistently improves the MLLM's robustness under shifts by pursuing the learning of a minimal sufficient representation.