AlignVLM: Ligando os Espaços Latentes de Visão e Linguagem para Compreensão Multimodal

AlignVLM: Bridging Vision and Language Latent Spaces for Multimodal Understanding

February 3, 2025

Autores: Ahmed Masry, Juan A. Rodriguez, Tianyu Zhang, Suyuchen Wang, Chao Wang, Aarash Feizi, Akshay Kalkunte Suresh, Abhay Puri, Xiangru Jian, Pierre-André Noël, Sathwik Tejaswi Madhusudhan, Marco Pedersoli, Bang Liu, Nicolas Chapados, Yoshua Bengio, Enamul Hoque, Christopher Pal, Issam H. Laradji, David Vazquez, Perouz Taslakian, Spandana Gella, Sai Rajeswar

cs.AI

Resumo

Ajustar características visuais com incorporações de linguagem é um desafio fundamental em modelos de visão-linguagem (VLMs). O desempenho desses modelos depende de ter um bom conector que mapeie características visuais geradas por um codificador de visão para um espaço de incorporação compartilhado com o LLM, preservando a similaridade semântica. Conectores existentes, como perceptrons de múltiplas camadas (MLPs), frequentemente produzem entradas fora da distribuição ou ruidosas, levando a um desalinhamento entre as modalidades. Neste trabalho, propomos um novo método de alinhamento visão-texto, AlignVLM, que mapeia características visuais para uma média ponderada das incorporações de texto do LLM. Nossa abordagem aproveita os conhecimentos linguísticos codificados pelo LLM para garantir que as características visuais sejam mapeadas para regiões do espaço que o LLM pode interpretar efetivamente. AlignVLM é particularmente eficaz para tarefas de compreensão de documentos, onde imagens de documentos digitalizados devem ser mapeadas com precisão para seu conteúdo textual. Nossos experimentos extensivos mostram que AlignVLM alcança um desempenho de ponta em comparação com métodos de alinhamento anteriores. Fornecemos análises adicionais demonstrando um melhor alinhamento de características visão-texto e robustez ao ruído.

English

Aligning visual features with language embeddings is a key challenge in vision-language models (VLMs). The performance of such models hinges on having a good connector that maps visual features generated by a vision encoder to a shared embedding space with the LLM while preserving semantic similarity. Existing connectors, such as multilayer perceptrons (MLPs), often produce out-of-distribution or noisy inputs, leading to misalignment between the modalities. In this work, we propose a novel vision-text alignment method, AlignVLM, that maps visual features to a weighted average of LLM text embeddings. Our approach leverages the linguistic priors encoded by the LLM to ensure that visual features are mapped to regions of the space that the LLM can effectively interpret. AlignVLM is particularly effective for document understanding tasks, where scanned document images must be accurately mapped to their textual content. Our extensive experiments show that AlignVLM achieves state-of-the-art performance compared to prior alignment methods. We provide further analysis demonstrating improved vision-text feature alignment and robustness to noise.