Потеря в эмбеддингах: утрата информации в моделях "визуальный язык"

Lost in Embeddings: Information Loss in Vision-Language Models

September 15, 2025

Авторы: Wenyan Li, Raphael Tang, Chengzu Li, Caiqi Zhang, Ivan Vulić, Anders Søgaard

cs.AI

Аннотация

Модели, объединяющие зрение и язык (Vision-Language Models, VLMs), часто обрабатывают визуальные входные данные с помощью предварительно обученного визуального энкодера, за которым следует проекция в пространство встраиваний языковой модели через соединительный компонент. Хотя этот шаг имеет решающее значение для слияния модальностей, потенциальная потеря информации, вызванная этой проекцией, и её прямое влияние на возможности модели остаются недостаточно изученными. Мы предлагаем два взаимодополняющих подхода для анализа и количественной оценки этой потери путём изучения латентного пространства представлений. Во-первых, мы оцениваем сохранение семантической информации, анализируя изменения в отношениях k-ближайших соседей между представлениями изображений до и после проекции. Во-вторых, мы напрямую измеряем потерю информации, восстанавливая визуальные встраивания из спроецированного представления, локализуя потерю на уровне фрагментов изображения. Эксперименты показывают, что соединительные компоненты существенно искажают локальную геометрию визуальных представлений, при этом k-ближайшие соседи расходятся на 40–60% после проекции, что коррелирует с ухудшением производительности при поиске. Восстановление встраиваний на уровне фрагментов предоставляет интерпретируемые инсайты о поведении модели в задачах визуально обоснованного ответа на вопросы, показывая, что области с высокой потерей информации надёжно предсказывают случаи, когда модель испытывает трудности.

English

Vision--language models (VLMs) often process visual inputs through a pretrained vision encoder, followed by a projection into the language model's embedding space via a connector component. While crucial for modality fusion, the potential information loss induced by this projection step and its direct impact on model capabilities remain understudied. We introduce two complementary approaches to examine and quantify this loss by analyzing the latent representation space. First, we evaluate semantic information preservation by analyzing changes in k-nearest neighbor relationships between image representations, before and after projection. Second, we directly measure information loss by reconstructing visual embeddings from the projected representation, localizing loss at an image patch level. Experiments reveal that connectors substantially distort the local geometry of visual representations, with k-nearest neighbors diverging by 40--60\% post-projection, correlating with degradation in retrieval performance. The patch-level embedding reconstruction provides interpretable insights for model behavior on visually grounded question-answering tasks, finding that areas of high information loss reliably predict instances where models struggle.