AlignVLM：マルチモーダル理解のためのビジョンと言語の潜在空間を結ぶ

AlignVLM: Bridging Vision and Language Latent Spaces for Multimodal Understanding

February 3, 2025

著者: Ahmed Masry, Juan A. Rodriguez, Tianyu Zhang, Suyuchen Wang, Chao Wang, Aarash Feizi, Akshay Kalkunte Suresh, Abhay Puri, Xiangru Jian, Pierre-André Noël, Sathwik Tejaswi Madhusudhan, Marco Pedersoli, Bang Liu, Nicolas Chapados, Yoshua Bengio, Enamul Hoque, Christopher Pal, Issam H. Laradji, David Vazquez, Perouz Taslakian, Spandana Gella, Sai Rajeswar

cs.AI

要旨

視覚言語モデル（VLM）における視覚特徴と言語埋め込みの整合性は、重要な課題です。このようなモデルの性能は、視覚エンコーダによって生成された視覚特徴をLLMと共有の埋め込み空間にマッピングするための適切なコネクタにかかっており、同時に意味的な類似性を保持する必要があります。既存のコネクタ、例えば多層パーセプトロン（MLPs）は、しばしば分布外またはノイズの多い入力を生成し、モダリティ間の不整合を引き起こします。本研究では、視覚テキストの整合性を高める新しい手法であるAlignVLMを提案します。この手法は、視覚特徴をLLMテキスト埋め込みの加重平均にマッピングします。我々のアプローチは、LLMによってエンコードされた言語的先行事項を活用し、視覚特徴がLLMが効果的に解釈できる空間の領域にマッピングされることを保証します。AlignVLMは、スキャンされた文書画像をそれらのテキスト内容に正確にマッピングする必要がある文書理解タスクに特に効果的です。我々の包括的な実験は、AlignVLMが従来の整合性手法と比較して最先端の性能を達成することを示しています。さらに、ノイズに対する改善された視覚テキスト特徴の整合性と頑健性を実証する追加の分析を提供します。

English

Aligning visual features with language embeddings is a key challenge in vision-language models (VLMs). The performance of such models hinges on having a good connector that maps visual features generated by a vision encoder to a shared embedding space with the LLM while preserving semantic similarity. Existing connectors, such as multilayer perceptrons (MLPs), often produce out-of-distribution or noisy inputs, leading to misalignment between the modalities. In this work, we propose a novel vision-text alignment method, AlignVLM, that maps visual features to a weighted average of LLM text embeddings. Our approach leverages the linguistic priors encoded by the LLM to ensure that visual features are mapped to regions of the space that the LLM can effectively interpret. AlignVLM is particularly effective for document understanding tasks, where scanned document images must be accurately mapped to their textual content. Our extensive experiments show that AlignVLM achieves state-of-the-art performance compared to prior alignment methods. We provide further analysis demonstrating improved vision-text feature alignment and robustness to noise.