AlignVLM: Collegare gli spazi latenti della visione e del linguaggio per la comprensione multimodale

AlignVLM: Bridging Vision and Language Latent Spaces for Multimodal Understanding

February 3, 2025

Autori: Ahmed Masry, Juan A. Rodriguez, Tianyu Zhang, Suyuchen Wang, Chao Wang, Aarash Feizi, Akshay Kalkunte Suresh, Abhay Puri, Xiangru Jian, Pierre-André Noël, Sathwik Tejaswi Madhusudhan, Marco Pedersoli, Bang Liu, Nicolas Chapados, Yoshua Bengio, Enamul Hoque, Christopher Pal, Issam H. Laradji, David Vazquez, Perouz Taslakian, Spandana Gella, Sai Rajeswar

cs.AI

Abstract

Allineare le caratteristiche visive con i word embeddings è una sfida chiave nei modelli vision-language (VLMs). Le prestazioni di tali modelli dipendono dall'avere un buon connettore che mappa le caratteristiche visive generate da un codificatore di visione in uno spazio di embedding condiviso con il LLM preservando al contempo la similarità semantica. I connettori esistenti, come i perceptron multistrato (MLPs), spesso producono input fuori distribuzione o rumorosi, portando a un disallineamento tra le modalità. In questo lavoro, proponiamo un nuovo metodo di allineamento visione-testo, AlignVLM, che mappa le caratteristiche visive a una media ponderata degli embeddings di testo del LLM. Il nostro approccio sfrutta i prior linguistici codificati dal LLM per garantire che le caratteristiche visive siano mappate in regioni dello spazio che il LLM può interpretare efficacemente. AlignVLM è particolarmente efficace per compiti di comprensione dei documenti, dove le immagini di documenti scannerizzati devono essere accuratamente mappate ai loro contenuti testuali. I nostri estesi esperimenti mostrano che AlignVLM raggiunge prestazioni all'avanguardia rispetto ai metodi di allineamento precedenti. Forniamo ulteriori analisi che dimostrano un miglioramento dell'allineamento delle caratteristiche visione-testo e una maggiore robustezza al rumore.

English

Aligning visual features with language embeddings is a key challenge in vision-language models (VLMs). The performance of such models hinges on having a good connector that maps visual features generated by a vision encoder to a shared embedding space with the LLM while preserving semantic similarity. Existing connectors, such as multilayer perceptrons (MLPs), often produce out-of-distribution or noisy inputs, leading to misalignment between the modalities. In this work, we propose a novel vision-text alignment method, AlignVLM, that maps visual features to a weighted average of LLM text embeddings. Our approach leverages the linguistic priors encoded by the LLM to ensure that visual features are mapped to regions of the space that the LLM can effectively interpret. AlignVLM is particularly effective for document understanding tasks, where scanned document images must be accurately mapped to their textual content. Our extensive experiments show that AlignVLM achieves state-of-the-art performance compared to prior alignment methods. We provide further analysis demonstrating improved vision-text feature alignment and robustness to noise.