BRAVE: Erweiterung der visuellen Kodierung von Sehen-Sprache-Modellen

BRAVE: Broadening the visual encoding of vision-language models

April 10, 2024

Autoren: Oğuzhan Fatih Kar, Alessio Tonioni, Petra Poklukar, Achin Kulshrestha, Amir Zamir, Federico Tombari

cs.AI

Zusammenfassung

Vision-Language-Modelle (VLMs) bestehen in der Regel aus einem Vision-Encoder, z.B. CLIP, und einem Sprachmodell (LM), das die codierten Merkmale interpretiert, um nachgelagerte Aufgaben zu lösen. Trotz bemerkenswerter Fortschritte unterliegen VLMs mehreren Mängeln aufgrund der begrenzten Fähigkeiten der Vision-Encoder, z.B. "Blindheit" gegenüber bestimmten Bildmerkmalen, visuelle Halluzinationen usw. Um diese Probleme anzugehen, untersuchen wir die Erweiterung der visuellen Kodierungsfähigkeiten von VLMs. Wir führen zunächst umfassende Tests mehrerer Vision-Encoder mit unterschiedlichen induktiven Verzerrungen zur Lösung von VLM-Aufgaben durch. Wir stellen fest, dass es keine einzelne Kodierungskonfiguration gibt, die konsistent Spitzenleistungen über verschiedene Aufgaben erzielt, und Encoder mit unterschiedlichen Verzerrungen überraschend ähnlich abschneiden können. Motiviert durch diese Erkenntnisse stellen wir eine Methode namens BRAVE vor, die Merkmale aus mehreren eingefrorenen Encodern zu einer vielseitigeren Repräsentation konsolidiert, die direkt als Eingabe für ein eingefrorenes LM verwendet werden kann. BRAVE erzielt Spitzenleistungen bei einer Vielzahl von Bildunterschriften- und VQA-Tests und reduziert signifikant die zuvor genannten Probleme von VLMs, wobei weniger trainierbare Parameter als bestehende Methoden erforderlich sind und eine komprimiertere Repräsentation vorliegt. Unsere Ergebnisse verdeutlichen das Potenzial der Integration unterschiedlicher visueller Verzerrungen für ein breiteres und kontextualisiertes visuelles Verständnis von VLMs.

English

Vision-language models (VLMs) are typically composed of a vision encoder, e.g. CLIP, and a language model (LM) that interprets the encoded features to solve downstream tasks. Despite remarkable progress, VLMs are subject to several shortcomings due to the limited capabilities of vision encoders, e.g. "blindness" to certain image features, visual hallucination, etc. To address these issues, we study broadening the visual encoding capabilities of VLMs. We first comprehensively benchmark several vision encoders with different inductive biases for solving VLM tasks. We observe that there is no single encoding configuration that consistently achieves top performance across different tasks, and encoders with different biases can perform surprisingly similarly. Motivated by this, we introduce a method, named BRAVE, that consolidates features from multiple frozen encoders into a more versatile representation that can be directly fed as the input to a frozen LM. BRAVE achieves state-of-the-art performance on a broad range of captioning and VQA benchmarks and significantly reduces the aforementioned issues of VLMs, while requiring a smaller number of trainable parameters than existing methods and having a more compressed representation. Our results highlight the potential of incorporating different visual biases for a more broad and contextualized visual understanding of VLMs.