埋め込み空間における情報喪失：視覚言語モデルにおける情報の欠落

要旨

視覚-言語モデル（VLM）は、事前学習済みの視覚エンコーダを通じて視覚入力を処理し、その後コネクタコンポーネントを介して言語モデルの埋め込み空間に投影することが多い。モダリティ融合において重要な役割を果たす一方で、この投影ステップによって引き起こされる潜在的な情報損失と、それがモデルの能力に直接及ぼす影響については十分に研究されていない。本研究では、潜在表現空間を分析することでこの損失を検証し定量化するための2つの補完的なアプローチを提案する。まず、投影前後の画像表現間のk近傍関係の変化を分析することで、意味情報の保存状況を評価する。次に、投影された表現から視覚的埋め込みを再構築することで情報損失を直接測定し、画像パッチレベルで損失を特定する。実験結果から、コネクタは視覚表現の局所的な幾何学を大幅に歪めることが明らかになり、投影後のk近傍は40〜60％も乖離し、検索性能の低下と相関していることがわかった。パッチレベルの埋め込み再構築は、視覚に基づく質問応答タスクにおけるモデルの挙動について解釈可能な洞察を提供し、情報損失が大きい領域はモデルが苦戦する事例を確実に予測できることを示している。

English

Vision--language models (VLMs) often process visual inputs through a pretrained vision encoder, followed by a projection into the language model's embedding space via a connector component. While crucial for modality fusion, the potential information loss induced by this projection step and its direct impact on model capabilities remain understudied. We introduce two complementary approaches to examine and quantify this loss by analyzing the latent representation space. First, we evaluate semantic information preservation by analyzing changes in k-nearest neighbor relationships between image representations, before and after projection. Second, we directly measure information loss by reconstructing visual embeddings from the projected representation, localizing loss at an image patch level. Experiments reveal that connectors substantially distort the local geometry of visual representations, with k-nearest neighbors diverging by 40--60\% post-projection, correlating with degradation in retrieval performance. The patch-level embedding reconstruction provides interpretable insights for model behavior on visually grounded question-answering tasks, finding that areas of high information loss reliably predict instances where models struggle.

埋め込み空間における情報喪失：視覚言語モデルにおける情報の欠落

Lost in Embeddings: Information Loss in Vision-Language Models

要旨

Support