Persi nelle Embedding: Perdita di Informazione nei Modelli Visione-Linguaggio

Lost in Embeddings: Information Loss in Vision-Language Models

September 15, 2025

Autori: Wenyan Li, Raphael Tang, Chengzu Li, Caiqi Zhang, Ivan Vulić, Anders Søgaard

cs.AI

Abstract

I modelli visione-linguaggio (VLMs) spesso elaborano gli input visivi attraverso un encoder visivo pre-addestrato, seguito da una proiezione nello spazio di embedding del modello linguistico tramite un componente connettore. Sebbene cruciale per la fusione delle modalità, la potenziale perdita di informazioni indotta da questo passaggio di proiezione e il suo impatto diretto sulle capacità del modello rimangono poco studiati. Introduciamo due approcci complementari per esaminare e quantificare questa perdita analizzando lo spazio delle rappresentazioni latenti. In primo luogo, valutiamo la preservazione delle informazioni semantiche analizzando i cambiamenti nelle relazioni di k-vicini più prossimi tra le rappresentazioni delle immagini, prima e dopo la proiezione. In secondo luogo, misuriamo direttamente la perdita di informazioni ricostruendo gli embedding visivi dalla rappresentazione proiettata, localizzando la perdita a livello di patch dell'immagine. Gli esperimenti rivelano che i connettori distorcono sostanzialmente la geometria locale delle rappresentazioni visive, con i k-vicini più prossimi che divergono del 40-60% dopo la proiezione, correlati con un degrado delle prestazioni di recupero. La ricostruzione degli embedding a livello di patch fornisce intuizioni interpretabili sul comportamento del modello nei compiti di risposta a domande basate su immagini, rilevando che le aree con elevata perdita di informazioni predicono in modo affidabile i casi in cui i modelli hanno difficoltà.

English

Vision--language models (VLMs) often process visual inputs through a pretrained vision encoder, followed by a projection into the language model's embedding space via a connector component. While crucial for modality fusion, the potential information loss induced by this projection step and its direct impact on model capabilities remain understudied. We introduce two complementary approaches to examine and quantify this loss by analyzing the latent representation space. First, we evaluate semantic information preservation by analyzing changes in k-nearest neighbor relationships between image representations, before and after projection. Second, we directly measure information loss by reconstructing visual embeddings from the projected representation, localizing loss at an image patch level. Experiments reveal that connectors substantially distort the local geometry of visual representations, with k-nearest neighbors diverging by 40--60\% post-projection, correlating with degradation in retrieval performance. The patch-level embedding reconstruction provides interpretable insights for model behavior on visually grounded question-answering tasks, finding that areas of high information loss reliably predict instances where models struggle.