Perdus dans les embeddings : Perte d'information dans les modèles vision-langage

Lost in Embeddings: Information Loss in Vision-Language Models

September 15, 2025

papers.authors: Wenyan Li, Raphael Tang, Chengzu Li, Caiqi Zhang, Ivan Vulić, Anders Søgaard

cs.AI

papers.abstract

Les modèles vision-langage (VLMs) traitent souvent les entrées visuelles à travers un encodeur visuel pré-entraîné, suivi d'une projection dans l'espace d'encodage du modèle de langage via un composant de connexion. Bien que cruciale pour la fusion des modalités, la perte d'information potentielle induite par cette étape de projection et son impact direct sur les capacités du modèle restent peu étudiés. Nous introduisons deux approches complémentaires pour examiner et quantifier cette perte en analysant l'espace de représentation latente. Premièrement, nous évaluons la préservation de l'information sémantique en analysant les changements dans les relations des k-plus proches voisins entre les représentations d'images, avant et après la projection. Deuxièmement, nous mesurons directement la perte d'information en reconstruisant les encodages visuels à partir de la représentation projetée, localisant la perte au niveau des patches d'image. Les expériences révèlent que les connecteurs déforment considérablement la géométrie locale des représentations visuelles, avec une divergence des k-plus proches voisins de 40 à 60 % après projection, corrélée à une dégradation des performances en recherche. La reconstruction des encodages au niveau des patches fournit des insights interprétables sur le comportement du modèle pour les tâches de question-réponse visuellement ancrées, montrant que les zones de forte perte d'information prédisent de manière fiable les cas où les modèles rencontrent des difficultés.

English

Vision--language models (VLMs) often process visual inputs through a pretrained vision encoder, followed by a projection into the language model's embedding space via a connector component. While crucial for modality fusion, the potential information loss induced by this projection step and its direct impact on model capabilities remain understudied. We introduce two complementary approaches to examine and quantify this loss by analyzing the latent representation space. First, we evaluate semantic information preservation by analyzing changes in k-nearest neighbor relationships between image representations, before and after projection. Second, we directly measure information loss by reconstructing visual embeddings from the projected representation, localizing loss at an image patch level. Experiments reveal that connectors substantially distort the local geometry of visual representations, with k-nearest neighbors diverging by 40--60\% post-projection, correlating with degradation in retrieval performance. The patch-level embedding reconstruction provides interpretable insights for model behavior on visually grounded question-answering tasks, finding that areas of high information loss reliably predict instances where models struggle.