모든 시각 토큰이 동등하게 중요한가? 시각-언어 검색을 위한 객체 증거 보존 토큰 병합

초록

다중 벡터 시각-언어 검색은 최대 유사도 후기 상호작용을 통해 세분화된 시각적 증거를 보존하지만, 밀집된 이미지 측 토큰으로 인해 저장 및 점수 계산 비용이 높다. 기존 토큰 압축 방법은 이러한 비용을 줄이지만, 향후 쿼리 토큰이 선택해야 할 객체 및 영역 수준의 증거를 제거하거나 붕괴시킬 수 있다. 본 논문에서는 SaMer를 제안한다. SaMer는 객체 인식 토큰 병합 프레임워크로서, 이미지 측 프로젝터 이후 토큰을 K개의 대표 중심점으로 압축하면서도 기존 후기 상호작용 인터페이스를 유지한다. SaMer는 학습 시에만 객체 주석을 병합 사전 정보로 사용하여 교차 인스턴스 혼합을 억제하며, 추론 시에는 실제 경계 상자나 검출기를 필요로 하지 않고, 비전 및 언어 백본은 고정한 채 공유 투영 레이어만 조정한다. K=64에서 SaMer는 이미지 측 토큰의 93% 이상을 제거하고 ColPali 저장 공간을 16.09배 줄이면서도 Flickr30K 및 MSCOCO에서 R@1을 향상시킨다. 이러한 성능 향상은 객체 인식 병합이 가지치기나 특징 전용 풀링으로 제거되거나 붕괴될 수 있는 쿼리 선택 가능한 객체 증거를 보존하기 때문에 발생한다. SaMer는 또한 압축 기준선보다 우수한 성능을 보이며 더 강력한 구문 수준 정렬을 나타내는데, 이는 효율적인 다중 벡터 검색이 단순히 토큰 수를 줄이는 것뿐만 아니라 향후 쿼리 토큰이 선택해야 할 증거를 보존하는 데 달려 있음을 시사한다.

English

Multi-vector vision-language retrieval preserves fine-grained visual evidence through maximum-similarity late interaction, but dense image-side tokens make storage and scoring expensive. Existing token compression methods reduce this cost, yet they can remove or collapse object- and region-level evidence that future query tokens may need to select. We propose SaMer, an object-aware token merging framework that compresses image-side post-projector tokens into K representative centroids while preserving the original late-interaction interface. SaMer uses object annotations only during training as a merge prior to discourage cross-instance mixing, requires no ground-truth bounding boxes or detectors at inference time, and adapts only the shared projection layer with frozen vision and language backbones. With K=64, SaMer removes more than 93% of image-side tokens and reduces ColPali storage by 16.09times, while improving R@1 on Flickr30K and MSCOCO. These gains arise because object-aware merging preserves query-selectable object evidence that pruning or feature-only pooling can remove or collapse. SaMer also outperforms compression baselines and shows stronger phrase-level grounding, suggesting that efficient multi-vector retrieval depends not only on reducing token count, but on preserving the evidence future query tokens need to select.