Ajuste del Cuello de Botella en Instrucciones Visuales

Visual Instruction Bottleneck Tuning

May 20, 2025

Autores: Changdae Oh, Jiatong Li, Shawn Im, Yixuan Li

cs.AI

Resumen

A pesar de su amplia adopción, los modelos de lenguaje multimodal de gran escala (MLLMs, por sus siglas en inglés) experimentan una degradación en su rendimiento cuando se enfrentan a consultas desconocidas bajo cambios en la distribución. Los métodos existentes para mejorar la generalización de los MLLMs generalmente requieren más datos de instrucción o arquitecturas de modelos más avanzadas, ambos enfoques que implican costos significativos en términos de mano de obra humana o recursos computacionales. En este trabajo, adoptamos un enfoque alternativo para mejorar la robustez de los MLLMs bajo cambios en la distribución, desde una perspectiva de aprendizaje de representaciones. Inspirados por el principio del cuello de botella de la información (IB, por sus siglas en inglés), derivamos un límite inferior variacional del IB para MLLMs y diseñamos una implementación práctica, denominada Ajuste del Cuello de Botella de Instrucción Visual (Vittle). Luego, proporcionamos una justificación teórica de Vittle al revelar su conexión con una métrica de robustez basada en la teoría de la información para MLLMs. La validación empírica de tres MLLMs en tareas de respuesta a preguntas abiertas y cerradas, así como en la detección de alucinaciones de objetos, utilizando 45 conjuntos de datos que incluyen 30 escenarios de cambio, demuestra que Vittle mejora consistentemente la robustez de los MLLMs bajo cambios al perseguir el aprendizaje de una representación mínima suficiente.

English

Despite widespread adoption, multimodal large language models (MLLMs) suffer performance degradation when encountering unfamiliar queries under distribution shifts. Existing methods to improve MLLM generalization typically require either more instruction data or larger advanced model architectures, both of which incur non-trivial human labor or computational costs. In this work, we take an alternative approach to enhance the robustness of MLLMs under distribution shifts, from a representation learning perspective. Inspired by the information bottleneck (IB) principle, we derive a variational lower bound of the IB for MLLMs and devise a practical implementation, Visual Instruction Bottleneck Tuning (Vittle). We then provide a theoretical justification of Vittle by revealing its connection to an information-theoretic robustness metric of MLLM. Empirical validation of three MLLMs on open-ended and closed-form question answering and object hallucination detection tasks over 45 datasets, including 30 shift scenarios, demonstrates that Vittle consistently improves the MLLM's robustness under shifts by pursuing the learning of a minimal sufficient representation.