Verdwaald in Embeddings: Informatieverlies in Visueel-Taalmodellen

Lost in Embeddings: Information Loss in Vision-Language Models

September 15, 2025

Auteurs: Wenyan Li, Raphael Tang, Chengzu Li, Caiqi Zhang, Ivan Vulić, Anders Søgaard

cs.AI

Samenvatting

Vision-language modellen (VLMs) verwerken visuele invoer vaak via een vooraf getrainde visuele encoder, gevolgd door een projectie in de embeddingruimte van het taalmodel via een verbindingscomponent. Hoewel cruciaal voor het samenvoegen van modaliteiten, blijft het potentiële informatieverlies veroorzaakt door deze projectiestap en het directe effect ervan op de modelcapaciteiten onderbelicht. We introduceren twee complementaire benaderingen om dit verlies te onderzoeken en te kwantificeren door de latente representatieruimte te analyseren. Ten eerste evalueren we het behoud van semantische informatie door veranderingen in k-nearest neighbor-relaties tussen beeldrepresentaties te analyseren, voor en na de projectie. Ten tweede meten we informatieverlies direct door visuele embeddings te reconstrueren vanuit de geprojecteerde representatie, waarbij het verlies op patch-niveau van een afbeelding wordt gelokaliseerd. Experimenten tonen aan dat verbindingscomponenten de lokale geometrie van visuele representaties aanzienlijk verstoren, waarbij k-nearest neighbors met 40-60\% afwijken na projectie, wat correleert met een verslechtering in de retrievalprestaties. De reconstructie van embeddings op patch-niveau biedt interpreteerbare inzichten voor het gedrag van modellen bij visueel onderbouwde vraag-antwoordtaken, waarbij gebieden met hoog informatieverlies betrouwbaar voorspellen waar modellen moeite hebben.

English

Vision--language models (VLMs) often process visual inputs through a pretrained vision encoder, followed by a projection into the language model's embedding space via a connector component. While crucial for modality fusion, the potential information loss induced by this projection step and its direct impact on model capabilities remain understudied. We introduce two complementary approaches to examine and quantify this loss by analyzing the latent representation space. First, we evaluate semantic information preservation by analyzing changes in k-nearest neighbor relationships between image representations, before and after projection. Second, we directly measure information loss by reconstructing visual embeddings from the projected representation, localizing loss at an image patch level. Experiments reveal that connectors substantially distort the local geometry of visual representations, with k-nearest neighbors diverging by 40--60\% post-projection, correlating with degradation in retrieval performance. The patch-level embedding reconstruction provides interpretable insights for model behavior on visually grounded question-answering tasks, finding that areas of high information loss reliably predict instances where models struggle.