임베딩 속의 정보 손실: 비전-언어 모델에서의 정보 소실

초록

비전-언어 모델(VLMs)은 시각적 입력을 사전 학습된 비전 인코더를 통해 처리한 후, 커넥터(connector) 컴포넌트를 통해 언어 모델의 임베딩 공간으로 투영하는 방식으로 작동합니다. 이 투영 단계에서 발생할 수 있는 정보 손실과 이로 인한 모델 성능에 대한 직접적인 영향은 아직 충분히 연구되지 않았습니다. 본 연구에서는 잠재 표현 공간을 분석하여 이러한 정보 손실을 검토하고 정량화하기 위한 두 가지 상호 보완적인 접근 방식을 제안합니다. 첫째, 투영 전후의 이미지 표현 간 k-최근접 이웃(k-nearest neighbor) 관계의 변화를 분석함으로써 의미 정보 보존 정도를 평가합니다. 둘째, 투영된 표현에서 시각적 임베딩을 재구성하여 이미지 패치 수준에서 정보 손실을 직접 측정합니다. 실험 결과, 커넥터는 시각적 표현의 지역적 기하학적 구조를 상당히 왜곡시키며, 투영 후 k-최근접 이웃이 40-60% 정도 달라져 검색 성능 저하와 상관관계가 있음을 보여줍니다. 또한, 패치 수준의 임베딩 재구성은 시각적 기반 질의응답 작업에서 모델의 행동에 대한 해석 가능한 통찰을 제공하며, 정보 손실이 높은 영역은 모델이 어려움을 겪는 사례를 신뢰성 있게 예측함을 발견했습니다.

English

Vision--language models (VLMs) often process visual inputs through a pretrained vision encoder, followed by a projection into the language model's embedding space via a connector component. While crucial for modality fusion, the potential information loss induced by this projection step and its direct impact on model capabilities remain understudied. We introduce two complementary approaches to examine and quantify this loss by analyzing the latent representation space. First, we evaluate semantic information preservation by analyzing changes in k-nearest neighbor relationships between image representations, before and after projection. Second, we directly measure information loss by reconstructing visual embeddings from the projected representation, localizing loss at an image patch level. Experiments reveal that connectors substantially distort the local geometry of visual representations, with k-nearest neighbors diverging by 40--60\% post-projection, correlating with degradation in retrieval performance. The patch-level embedding reconstruction provides interpretable insights for model behavior on visually grounded question-answering tasks, finding that areas of high information loss reliably predict instances where models struggle.

임베딩 속의 정보 손실: 비전-언어 모델에서의 정보 소실

Lost in Embeddings: Information Loss in Vision-Language Models

초록

Support