BRAVE: Расширение визуального кодирования моделей, объединяющих зрение и язык

BRAVE: Broadening the visual encoding of vision-language models

April 10, 2024

Авторы: Oğuzhan Fatih Kar, Alessio Tonioni, Petra Poklukar, Achin Kulshrestha, Amir Zamir, Federico Tombari

cs.AI

Аннотация

Модели видео-языка (VLM) обычно состоят из визуального кодера, например, CLIP, и языковой модели (LM), которая интерпретирует закодированные признаки для решения последующих задач. Несмотря на значительный прогресс, VLM подвержены нескольким недостаткам из-за ограниченных возможностей визуальных кодеров, например, "слепоты" к определенным визуальным признакам, визуальной галлюцинации и т. д. Для решения этих проблем мы изучаем расширение визуальных возможностей кодирования VLM. Сначала мы всесторонне оцениваем несколько визуальных кодеров с различными индуктивными предвзятостями для решения задач VLM. Мы замечаем, что нет одной конфигурации кодирования, которая последовательно достигает лучших результатов по различным задачам, и кодеры с разными предвзятостями могут проявлять удивительно схожие результаты. Вдохновленные этим, мы представляем метод, названный BRAVE, который consолидирует признаки из нескольких замороженных кодеров в более универсальное представление, которое может быть непосредственно подано на вход замороженной LM. BRAVE достигает передовых результатов на широком спектре бенчмарков по подписям и VQA и значительно снижает вышеупомянутые проблемы VLM, требуя при этом меньшего количества обучаемых параметров, чем существующие методы, и имея более компактное представление. Наши результаты подчеркивают потенциал интеграции различных визуальных предвзятостей для более широкого и контекстуализированного визуального понимания VLM.

English

Vision-language models (VLMs) are typically composed of a vision encoder, e.g. CLIP, and a language model (LM) that interprets the encoded features to solve downstream tasks. Despite remarkable progress, VLMs are subject to several shortcomings due to the limited capabilities of vision encoders, e.g. "blindness" to certain image features, visual hallucination, etc. To address these issues, we study broadening the visual encoding capabilities of VLMs. We first comprehensively benchmark several vision encoders with different inductive biases for solving VLM tasks. We observe that there is no single encoding configuration that consistently achieves top performance across different tasks, and encoders with different biases can perform surprisingly similarly. Motivated by this, we introduce a method, named BRAVE, that consolidates features from multiple frozen encoders into a more versatile representation that can be directly fed as the input to a frozen LM. BRAVE achieves state-of-the-art performance on a broad range of captioning and VQA benchmarks and significantly reduces the aforementioned issues of VLMs, while requiring a smaller number of trainable parameters than existing methods and having a more compressed representation. Our results highlight the potential of incorporating different visual biases for a more broad and contextualized visual understanding of VLMs.