AlignVLM: Het verbinden van visuele en taalkundige latente ruimtes voor multimodale begripsvorming

AlignVLM: Bridging Vision and Language Latent Spaces for Multimodal Understanding

February 3, 2025

Auteurs: Ahmed Masry, Juan A. Rodriguez, Tianyu Zhang, Suyuchen Wang, Chao Wang, Aarash Feizi, Akshay Kalkunte Suresh, Abhay Puri, Xiangru Jian, Pierre-André Noël, Sathwik Tejaswi Madhusudhan, Marco Pedersoli, Bang Liu, Nicolas Chapados, Yoshua Bengio, Enamul Hoque, Christopher Pal, Issam H. Laradji, David Vazquez, Perouz Taslakian, Spandana Gella, Sai Rajeswar

cs.AI

Samenvatting

Het afstemmen van visuele kenmerken met taalembeddingen is een belangrijke uitdaging in visie-taalmodellen (VLM's). De prestaties van dergelijke modellen zijn afhankelijk van een goede connector die visuele kenmerken, gegenereerd door een visie-encoder, afbeeldt naar een gedeelde embeddingruimte met de LLM terwijl semantische gelijkenis behouden blijft. Bestaande connectors, zoals meerlagige perceptrons (MLP's), produceren vaak inputs die buiten de distributie vallen of ruis bevatten, wat leidt tot misalignement tussen de modaliteiten. In dit werk stellen we een nieuw visie-tekst afstemmingsmethode voor, AlignVLM, die visuele kenmerken afbeeldt naar een gewogen gemiddelde van LLM-tekstembeddingen. Onze aanpak maakt gebruik van de linguïstische aannames gecodeerd door de LLM om ervoor te zorgen dat visuele kenmerken worden afgebeeld naar gebieden in de ruimte die de LLM effectief kan interpreteren. AlignVLM is bijzonder effectief voor taken met betrekking tot documentbegrip, waar gescande documentafbeeldingen nauwkeurig moeten worden afgebeeld naar hun tekstuele inhoud. Onze uitgebreide experimenten tonen aan dat AlignVLM state-of-the-art prestaties behaalt in vergelijking met eerdere afstemmingsmethoden. We bieden verdere analyse die verbeterde afstemming van visie-tekstkenmerken en robuustheid tegen ruis aantoont.

English

Aligning visual features with language embeddings is a key challenge in vision-language models (VLMs). The performance of such models hinges on having a good connector that maps visual features generated by a vision encoder to a shared embedding space with the LLM while preserving semantic similarity. Existing connectors, such as multilayer perceptrons (MLPs), often produce out-of-distribution or noisy inputs, leading to misalignment between the modalities. In this work, we propose a novel vision-text alignment method, AlignVLM, that maps visual features to a weighted average of LLM text embeddings. Our approach leverages the linguistic priors encoded by the LLM to ensure that visual features are mapped to regions of the space that the LLM can effectively interpret. AlignVLM is particularly effective for document understanding tasks, where scanned document images must be accurately mapped to their textual content. Our extensive experiments show that AlignVLM achieves state-of-the-art performance compared to prior alignment methods. We provide further analysis demonstrating improved vision-text feature alignment and robustness to noise.