ABC: Raggiungere un Miglior Controllo degli Embedding Multimodali Utilizzando Modelli Linguistici Visivi

ABC: Achieving Better Control of Multimodal Embeddings using VLMs

March 1, 2025

Autori: Benjamin Schneider, Florian Kerschbaum, Wenhu Chen

cs.AI

Abstract

I modelli di embedding visivi eccellono in task zero-shot come il recupero visivo e la classificazione. Tuttavia, questi modelli non possono essere utilizzati per attività che contengono ambiguità o richiedono istruzioni dell'utente. Queste attività necessitano di un modello di embedding multimodale, che produce embedding che combinano input visivi e linguaggio naturale. Gli approcci esistenti basati su CLIP incorporano immagini e testo in modo indipendente, per poi fondere i risultati. Abbiamo osservato che ciò porta a interazioni deboli tra le modalità e a un controllo limitato dell'utente sulla rappresentazione. Introduciamo ABC, un modello di embedding multimodale open-source che utilizza un backbone di modello visione-linguaggio per integrare profondamente le caratteristiche delle immagini con le istruzioni in linguaggio naturale. ABC raggiunge le migliori prestazioni per dimensione nel recupero testo-immagine su MSCOCO ed è il modello con le migliori performance in task di classificazione e VQA nel Massive Multimodal Embedding Benchmark. Grazie a una rappresentazione fortemente unificata tra visione e linguaggio, ABC può utilizzare il linguaggio naturale per risolvere problemi di recupero visivo sottili e potenzialmente ambigui. Per valutare questa capacità, abbiamo progettato CtrlBench, un benchmark che richiede l'intercalazione di istruzioni testuali con il contenuto delle immagini per un recupero corretto. ABC avanza lo stato dell'arte degli embedding multimodali offrendo rappresentazioni di alta qualità e un controllo flessibile tramite linguaggio naturale. Il nostro modello e i dataset sono disponibili sulla pagina del progetto.

English

Visual embedding models excel at zero-shot tasks like visual retrieval and classification. However, these models cannot be used for tasks that contain ambiguity or require user instruction. These tasks necessitate a multimodal embedding model, which outputs embeddings that combine visual and natural language input. Existing CLIP-based approaches embed images and text independently, and fuse the result. We find that this results in weak interactions between modalities, and poor user control over the representation. We introduce ABC, an open-source multimodal embedding model that uses a vision-language model backbone to deeply integrate image features with natural language instructions. ABC achieves bestfor-size performance on MSCOCO image-to-text retrieval and is the top performing model on classification and VQA tasks in the Massive Multimodal Embedding Benchmark. With a strongly unified vision-language representation, ABC can use natural language to solve subtle and potentially ambiguous visual retrieval problems. To evaluate this capability, we design CtrlBench, a benchmark that requires interleaving textual instructions with image content for correct retrieval. ABC advances the state of multimodal embeddings by offering high-quality representations and flexible natural language control. Our model and datasets are available at our project page.