BRAVE: Ampliando a codificação visual de modelos de visão e linguagem

BRAVE: Broadening the visual encoding of vision-language models

April 10, 2024

Autores: Oğuzhan Fatih Kar, Alessio Tonioni, Petra Poklukar, Achin Kulshrestha, Amir Zamir, Federico Tombari

cs.AI

Resumo

Modelos visão-linguagem (VLMs) são tipicamente compostos por um codificador visual, por exemplo, CLIP, e um modelo de linguagem (LM) que interpreta as características codificadas para resolver tarefas subsequentes. Apesar de progressos notáveis, os VLMs estão sujeitos a várias limitações devido às capacidades restritas dos codificadores visuais, como "cegueira" a certas características de imagem, alucinação visual, etc. Para abordar esses problemas, estudamos a ampliação das capacidades de codificação visual dos VLMs. Primeiro, avaliamos de forma abrangente vários codificadores visuais com diferentes vieses indutivos para resolver tarefas de VLM. Observamos que não há uma única configuração de codificação que consistentemente atinge o melhor desempenho em diferentes tarefas, e codificadores com diferentes vieses podem ter desempenhos surpreendentemente semelhantes. Motivados por isso, introduzimos um método, denominado BRAVE, que consolida características de múltiplos codificadores congelados em uma representação mais versátil que pode ser diretamente alimentada como entrada para um LM congelado. O BRAVE alcança desempenho de ponta em uma ampla gama de benchmarks de legendagem e VQA e reduz significativamente os problemas mencionados dos VLMs, enquanto requer um número menor de parâmetros treináveis em comparação com métodos existentes e possui uma representação mais compacta. Nossos resultados destacam o potencial de incorporar diferentes vieses visuais para uma compreensão visual mais ampla e contextualizada dos VLMs.

English

Vision-language models (VLMs) are typically composed of a vision encoder, e.g. CLIP, and a language model (LM) that interprets the encoded features to solve downstream tasks. Despite remarkable progress, VLMs are subject to several shortcomings due to the limited capabilities of vision encoders, e.g. "blindness" to certain image features, visual hallucination, etc. To address these issues, we study broadening the visual encoding capabilities of VLMs. We first comprehensively benchmark several vision encoders with different inductive biases for solving VLM tasks. We observe that there is no single encoding configuration that consistently achieves top performance across different tasks, and encoders with different biases can perform surprisingly similarly. Motivated by this, we introduce a method, named BRAVE, that consolidates features from multiple frozen encoders into a more versatile representation that can be directly fed as the input to a frozen LM. BRAVE achieves state-of-the-art performance on a broad range of captioning and VQA benchmarks and significantly reduces the aforementioned issues of VLMs, while requiring a smaller number of trainable parameters than existing methods and having a more compressed representation. Our results highlight the potential of incorporating different visual biases for a more broad and contextualized visual understanding of VLMs.