ABC: Alcançando Melhor Controle de Embeddings Multimodais com VLMs

ABC: Achieving Better Control of Multimodal Embeddings using VLMs

March 1, 2025

Autores: Benjamin Schneider, Florian Kerschbaum, Wenhu Chen

cs.AI

Resumo

Modelos de embedding visual se destacam em tarefas zero-shot como recuperação visual e classificação. No entanto, esses modelos não podem ser usados para tarefas que contenham ambiguidade ou exijam instruções do usuário. Essas tarefas exigem um modelo de embedding multimodal, que produz embeddings que combinam entrada visual e linguagem natural. As abordagens existentes baseadas em CLIP incorporam imagens e texto de forma independente e fundem o resultado. Descobrimos que isso resulta em interações fracas entre as modalidades e em um controle limitado do usuário sobre a representação. Apresentamos o ABC, um modelo de embedding multimodal de código aberto que utiliza um backbone de modelo visão-linguagem para integrar profundamente características de imagem com instruções em linguagem natural. O ABC alcança o melhor desempenho para seu tamanho na recuperação de texto a partir de imagens no MSCOCO e é o modelo com melhor desempenho em tarefas de classificação e VQA no Massive Multimodal Embedding Benchmark. Com uma representação visão-linguagem fortemente unificada, o ABC pode usar linguagem natural para resolver problemas sutis e potencialmente ambíguos de recuperação visual. Para avaliar essa capacidade, projetamos o CtrlBench, um benchmark que requer a intercalação de instruções textuais com o conteúdo da imagem para uma recuperação correta. O ABC avança o estado da arte em embeddings multimodais ao oferecer representações de alta qualidade e controle flexível por meio de linguagem natural. Nosso modelo e conjuntos de dados estão disponíveis em nossa página do projeto.

English

Visual embedding models excel at zero-shot tasks like visual retrieval and classification. However, these models cannot be used for tasks that contain ambiguity or require user instruction. These tasks necessitate a multimodal embedding model, which outputs embeddings that combine visual and natural language input. Existing CLIP-based approaches embed images and text independently, and fuse the result. We find that this results in weak interactions between modalities, and poor user control over the representation. We introduce ABC, an open-source multimodal embedding model that uses a vision-language model backbone to deeply integrate image features with natural language instructions. ABC achieves bestfor-size performance on MSCOCO image-to-text retrieval and is the top performing model on classification and VQA tasks in the Massive Multimodal Embedding Benchmark. With a strongly unified vision-language representation, ABC can use natural language to solve subtle and potentially ambiguous visual retrieval problems. To evaluate this capability, we design CtrlBench, a benchmark that requires interleaving textual instructions with image content for correct retrieval. ABC advances the state of multimodal embeddings by offering high-quality representations and flexible natural language control. Our model and datasets are available at our project page.