ABC : Atteindre un meilleur contrôle des embeddings multimodaux grâce aux VLMs

ABC: Achieving Better Control of Multimodal Embeddings using VLMs

March 1, 2025

Auteurs: Benjamin Schneider, Florian Kerschbaum, Wenhu Chen

cs.AI

Résumé

Les modèles d'embedding visuel excellent dans les tâches zero-shot comme la recherche visuelle et la classification. Cependant, ces modèles ne peuvent pas être utilisés pour des tâches contenant des ambiguïtés ou nécessitant des instructions utilisateur. Ces tâches exigent un modèle d'embedding multimodal, qui produit des embeddings combinant des entrées visuelles et en langage naturel. Les approches existantes basées sur CLIP intègrent les images et le texte de manière indépendante, puis fusionnent les résultats. Nous constatons que cela entraîne des interactions faibles entre les modalités et un contrôle limité de l'utilisateur sur la représentation. Nous présentons ABC, un modèle d'embedding multimodal open-source qui utilise une architecture de modèle vision-langage pour intégrer profondément les caractéristiques visuelles avec les instructions en langage naturel. ABC atteint les meilleures performances pour sa taille sur la tâche de recherche image-texte de MSCOCO et est le modèle le plus performant sur les tâches de classification et de question-réponse visuelle (VQA) dans le benchmark Massive Multimodal Embedding. Grâce à une représentation vision-langage fortement unifiée, ABC peut utiliser le langage naturel pour résoudre des problèmes de recherche visuelle subtils et potentiellement ambigus. Pour évaluer cette capacité, nous concevons CtrlBench, un benchmark qui nécessite l'intercalation d'instructions textuelles avec le contenu visuel pour une recherche correcte. ABC fait progresser l'état de l'art des embeddings multimodaux en offrant des représentations de haute qualité et un contrôle flexible via le langage naturel. Notre modèle et les jeux de données sont disponibles sur notre page de projet.

English

Visual embedding models excel at zero-shot tasks like visual retrieval and classification. However, these models cannot be used for tasks that contain ambiguity or require user instruction. These tasks necessitate a multimodal embedding model, which outputs embeddings that combine visual and natural language input. Existing CLIP-based approaches embed images and text independently, and fuse the result. We find that this results in weak interactions between modalities, and poor user control over the representation. We introduce ABC, an open-source multimodal embedding model that uses a vision-language model backbone to deeply integrate image features with natural language instructions. ABC achieves bestfor-size performance on MSCOCO image-to-text retrieval and is the top performing model on classification and VQA tasks in the Massive Multimodal Embedding Benchmark. With a strongly unified vision-language representation, ABC can use natural language to solve subtle and potentially ambiguous visual retrieval problems. To evaluate this capability, we design CtrlBench, a benchmark that requires interleaving textual instructions with image content for correct retrieval. ABC advances the state of multimodal embeddings by offering high-quality representations and flexible natural language control. Our model and datasets are available at our project page.