ABC: Verbesserte Kontrolle multimodaler Embeddings durch VLMs

ABC: Achieving Better Control of Multimodal Embeddings using VLMs

March 1, 2025

Autoren: Benjamin Schneider, Florian Kerschbaum, Wenhu Chen

cs.AI

Zusammenfassung

Visuelle Embedding-Modelle zeichnen sich bei Zero-Shot-Aufgaben wie visuellem Retrieval und Klassifikation aus. Diese Modelle können jedoch nicht für Aufgaben verwendet werden, die Mehrdeutigkeiten enthalten oder Benutzeranweisungen erfordern. Solche Aufgaben erfordern ein multimodales Embedding-Modell, das Embeddings erzeugt, die visuelle und natürliche Spracheingaben kombinieren. Bestehende CLIP-basierte Ansätze betten Bilder und Text unabhängig voneinander ein und fusionieren das Ergebnis. Wir stellen fest, dass dies zu schwachen Interaktionen zwischen den Modalitäten und einer geringen Benutzerkontrolle über die Darstellung führt. Wir stellen ABC vor, ein Open-Source-Multimodal-Embedding-Modell, das ein Vision-Language-Modell als Backbone verwendet, um Bildmerkmale tief mit natürlichen Sprachanweisungen zu integrieren. ABC erreicht die beste Leistung in Bezug auf die Größe beim MSCOCO-Bild-zu-Text-Retrieval und ist das leistungsstärkste Modell bei Klassifikations- und VQA-Aufgaben im Massive Multimodal Embedding Benchmark. Mit einer stark vereinheitlichten Vision-Language-Darstellung kann ABC natürliche Sprache verwenden, um subtile und potenziell mehrdeutige visuelle Retrieval-Probleme zu lösen. Um diese Fähigkeit zu bewerten, entwickeln wir CtrlBench, einen Benchmark, der das Verschachteln von Textanweisungen mit Bildinhalten für ein korrektes Retrieval erfordert. ABC verbessert den Stand der multimodalen Embeddings durch hochwertige Darstellungen und flexible Steuerung über natürliche Sprache. Unser Modell und die Datensätze sind auf unserer Projektseite verfügbar.

English

Visual embedding models excel at zero-shot tasks like visual retrieval and classification. However, these models cannot be used for tasks that contain ambiguity or require user instruction. These tasks necessitate a multimodal embedding model, which outputs embeddings that combine visual and natural language input. Existing CLIP-based approaches embed images and text independently, and fuse the result. We find that this results in weak interactions between modalities, and poor user control over the representation. We introduce ABC, an open-source multimodal embedding model that uses a vision-language model backbone to deeply integrate image features with natural language instructions. ABC achieves bestfor-size performance on MSCOCO image-to-text retrieval and is the top performing model on classification and VQA tasks in the Massive Multimodal Embedding Benchmark. With a strongly unified vision-language representation, ABC can use natural language to solve subtle and potentially ambiguous visual retrieval problems. To evaluate this capability, we design CtrlBench, a benchmark that requires interleaving textual instructions with image content for correct retrieval. ABC advances the state of multimodal embeddings by offering high-quality representations and flexible natural language control. Our model and datasets are available at our project page.