Ajuste Fino do Gargalo de Instrução Visual

Resumo

Apesar da ampla adoção, os modelos de linguagem multimodal de grande escala (MLLMs) sofrem degradação de desempenho ao encontrar consultas desconhecidas sob mudanças de distribuição. Os métodos existentes para melhorar a generalização dos MLLMs geralmente exigem mais dados de instrução ou arquiteturas de modelos mais avançadas, ambos os quais acarretam custos significativos de mão de obra humana ou computacional. Neste trabalho, adotamos uma abordagem alternativa para aumentar a robustez dos MLLMs sob mudanças de distribuição, a partir de uma perspectiva de aprendizado de representação. Inspirados pelo princípio do gargalo de informação (IB), derivamos um limite inferior variacional do IB para MLLMs e desenvolvemos uma implementação prática, o Ajuste de Gargalo de Instrução Visual (Vittle). Em seguida, fornecemos uma justificativa teórica para o Vittle ao revelar sua conexão com uma métrica de robustez baseada em teoria da informação para MLLMs. A validação empírica de três MLLMs em tarefas de resposta a perguntas abertas e fechadas e detecção de alucinação de objetos em 45 conjuntos de dados, incluindo 30 cenários de mudança, demonstra que o Vittle melhora consistentemente a robustez dos MLLMs sob mudanças ao buscar o aprendizado de uma representação mínima suficiente.

English

Despite widespread adoption, multimodal large language models (MLLMs) suffer performance degradation when encountering unfamiliar queries under distribution shifts. Existing methods to improve MLLM generalization typically require either more instruction data or larger advanced model architectures, both of which incur non-trivial human labor or computational costs. In this work, we take an alternative approach to enhance the robustness of MLLMs under distribution shifts, from a representation learning perspective. Inspired by the information bottleneck (IB) principle, we derive a variational lower bound of the IB for MLLMs and devise a practical implementation, Visual Instruction Bottleneck Tuning (Vittle). We then provide a theoretical justification of Vittle by revealing its connection to an information-theoretic robustness metric of MLLM. Empirical validation of three MLLMs on open-ended and closed-form question answering and object hallucination detection tasks over 45 datasets, including 30 shift scenarios, demonstrates that Vittle consistently improves the MLLM's robustness under shifts by pursuing the learning of a minimal sufficient representation.