AlignVLM: Связывание скрытых пространств зрения и языка для мультимодального понимания

AlignVLM: Bridging Vision and Language Latent Spaces for Multimodal Understanding

February 3, 2025

Авторы: Ahmed Masry, Juan A. Rodriguez, Tianyu Zhang, Suyuchen Wang, Chao Wang, Aarash Feizi, Akshay Kalkunte Suresh, Abhay Puri, Xiangru Jian, Pierre-André Noël, Sathwik Tejaswi Madhusudhan, Marco Pedersoli, Bang Liu, Nicolas Chapados, Yoshua Bengio, Enamul Hoque, Christopher Pal, Issam H. Laradji, David Vazquez, Perouz Taslakian, Spandana Gella, Sai Rajeswar

cs.AI

Аннотация

Выравнивание визуальных признаков с языковыми вложениями является ключевой проблемой в моделях видео-языкового взаимодействия (VLM). Производительность таких моделей зависит от наличия хорошего коннектора, который отображает визуальные признаки, сгенерированные видео-кодировщиком, в общее пространство вложений с LLM, сохраняя семантическую схожесть. Существующие коннекторы, такие как многослойные перцептроны (MLP), часто порождают входные данные вне распределения или зашумленные, что приводит к несоответствию между модальностями. В данной работе мы предлагаем новый метод выравнивания видео-текста, AlignVLM, который отображает визуальные признаки на взвешенное среднее вложений текста LLM. Наш подход использует лингвистические априорные знания, закодированные LLM, чтобы гарантировать, что визуальные признаки отображаются в области пространства, которую LLM может эффективно интерпретировать. AlignVLM особенно эффективен для задач понимания документов, где изображения отсканированных документов должны точно соотноситься с их текстовым содержанием. Наши обширные эксперименты показывают, что AlignVLM достигает передовой производительности по сравнению с предыдущими методами выравнивания. Мы предоставляем дополнительный анализ, демонстрирующий улучшенное выравнивание визуально-текстовых признаков и устойчивость к шуму.

English

Aligning visual features with language embeddings is a key challenge in vision-language models (VLMs). The performance of such models hinges on having a good connector that maps visual features generated by a vision encoder to a shared embedding space with the LLM while preserving semantic similarity. Existing connectors, such as multilayer perceptrons (MLPs), often produce out-of-distribution or noisy inputs, leading to misalignment between the modalities. In this work, we propose a novel vision-text alignment method, AlignVLM, that maps visual features to a weighted average of LLM text embeddings. Our approach leverages the linguistic priors encoded by the LLM to ensure that visual features are mapped to regions of the space that the LLM can effectively interpret. AlignVLM is particularly effective for document understanding tasks, where scanned document images must be accurately mapped to their textual content. Our extensive experiments show that AlignVLM achieves state-of-the-art performance compared to prior alignment methods. We provide further analysis demonstrating improved vision-text feature alignment and robustness to noise.