AlignVLM: Verknüpfung von visuellen und sprachlichen latenten Räumen für multimodales Verständnis

AlignVLM: Bridging Vision and Language Latent Spaces for Multimodal Understanding

February 3, 2025

Autoren: Ahmed Masry, Juan A. Rodriguez, Tianyu Zhang, Suyuchen Wang, Chao Wang, Aarash Feizi, Akshay Kalkunte Suresh, Abhay Puri, Xiangru Jian, Pierre-André Noël, Sathwik Tejaswi Madhusudhan, Marco Pedersoli, Bang Liu, Nicolas Chapados, Yoshua Bengio, Enamul Hoque, Christopher Pal, Issam H. Laradji, David Vazquez, Perouz Taslakian, Spandana Gella, Sai Rajeswar

cs.AI

Zusammenfassung

Die Ausrichtung visueller Merkmale mit Sprach-Einbettungen ist eine zentrale Herausforderung in Modellen für die Verbindung von Vision und Sprache (VLMs). Die Leistungsfähigkeit solcher Modelle hängt entscheidend von einem guten Verbindungselement ab, das visuelle Merkmale, die von einem Vision-Encoder erzeugt wurden, in einen gemeinsamen Einbettungsraum mit dem LLM abbildet, wobei die semantische Ähnlichkeit erhalten bleibt. Bestehende Verbindungselemente, wie mehrschichtige Perzeptrone (MLPs), erzeugen oft Inputs außerhalb der Verteilung oder mit Rauschen, was zu einer Missabstimmung zwischen den Modalitäten führt. In dieser Arbeit schlagen wir eine neue Methode zur Ausrichtung von Vision und Text vor, AlignVLM, die visuelle Merkmale auf einen gewichteten Durchschnitt von LLM-Texteinbettungen abbildet. Unser Ansatz nutzt die sprachlichen Vorkenntnisse, die vom LLM codiert sind, um sicherzustellen, dass visuelle Merkmale auf Bereiche des Raums abgebildet werden, die der LLM effektiv interpretieren kann. AlignVLM ist besonders effektiv für Aufgaben des Dokumentverständnisses, bei denen gescannte Dokumentenbilder genau auf ihren Textinhalt abgebildet werden müssen. Unsere umfangreichen Experimente zeigen, dass AlignVLM im Vergleich zu früheren Ausrichtungsmethoden eine Spitzenleistung erzielt. Wir liefern weitere Analysen, die eine verbesserte Ausrichtung von Vision und Textmerkmalen sowie Robustheit gegenüber Rauschen aufzeigen.

English

Aligning visual features with language embeddings is a key challenge in vision-language models (VLMs). The performance of such models hinges on having a good connector that maps visual features generated by a vision encoder to a shared embedding space with the LLM while preserving semantic similarity. Existing connectors, such as multilayer perceptrons (MLPs), often produce out-of-distribution or noisy inputs, leading to misalignment between the modalities. In this work, we propose a novel vision-text alignment method, AlignVLM, that maps visual features to a weighted average of LLM text embeddings. Our approach leverages the linguistic priors encoded by the LLM to ensure that visual features are mapped to regions of the space that the LLM can effectively interpret. AlignVLM is particularly effective for document understanding tasks, where scanned document images must be accurately mapped to their textual content. Our extensive experiments show that AlignVLM achieves state-of-the-art performance compared to prior alignment methods. We provide further analysis demonstrating improved vision-text feature alignment and robustness to noise.