すべての視覚トークンは等しく重要か？視覚言語検索のためのオブジェクト証拠保存型トークン統合

要旨

マルチベクトル視覚言語検索は、最大類似度後期相互作用によって細かい粒度の視覚的証拠を保持するが、画像側の高密度トークンによりストレージとスコアリングのコストが高くなる。既存のトークン圧縮手法はこのコストを削減するものの、将来のクエリトークンが選択する必要があるオブジェクトや領域レベルの証拠を除去または潰してしまう可能性がある。本論文では、画像側のプロジェクタ後トークンをK個の代表セントロイドに圧縮しつつ、元の後期相互作用インターフェースを保持する、オブジェクト認識型トークン統合フレームワークSaMerを提案する。SaMerは学習時のみオブジェクトアノテーションを統合の事前情報として利用し、インスタンス間の混合を抑制する。推論時には正解バウンディングボックスや検出器を必要とせず、視覚・言語バックボーンを凍結して共有投影層のみを適応する。K=64において、SaMerは画像側トークンの93%以上を除去し、ColPaliのストレージを16.09倍削減しながら、Flickr30KとMSCOCOでR@1を改善する。この向上は、オブジェクト認識型統合が、刈り込みや特徴量のみのプーリングでは除去または潰され得る、クエリ選択可能なオブジェクト証拠を保持するために生じる。SaMerは圧縮ベースラインを上回り、より強力なフレーズレベルのグラウンディングを示すことから、効率的なマルチベクトル検索はトークン数の削減だけでなく、将来のクエリトークンが選択する必要のある証拠を保持することに依存することが示唆される。

English

Multi-vector vision-language retrieval preserves fine-grained visual evidence through maximum-similarity late interaction, but dense image-side tokens make storage and scoring expensive. Existing token compression methods reduce this cost, yet they can remove or collapse object- and region-level evidence that future query tokens may need to select. We propose SaMer, an object-aware token merging framework that compresses image-side post-projector tokens into K representative centroids while preserving the original late-interaction interface. SaMer uses object annotations only during training as a merge prior to discourage cross-instance mixing, requires no ground-truth bounding boxes or detectors at inference time, and adapts only the shared projection layer with frozen vision and language backbones. With K=64, SaMer removes more than 93% of image-side tokens and reduces ColPali storage by 16.09times, while improving R@1 on Flickr30K and MSCOCO. These gains arise because object-aware merging preserves query-selectable object evidence that pruning or feature-only pooling can remove or collapse. SaMer also outperforms compression baselines and shows stronger phrase-level grounding, suggesting that efficient multi-vector retrieval depends not only on reducing token count, but on preserving the evidence future query tokens need to select.