Sind alle visuellen Token gleich wichtig? Objektevidenz-bewahrendes Token-Merging für das Bild-Text-Retrieval

Zusammenfassung

Mehrvektorielles visuell-sprachliches Retrieval bewahrt feinkörnige visuelle Evidenz durch eine späte Interaktion mit maximaler Ähnlichkeit, aber dichte bildseitige Tokens machen Speicherung und Bewertung teuer. Bestehende Verfahren zur Token-Komprimierung reduzieren diese Kosten, können jedoch objekt- und regionenbezogene Evidenz entfernen oder zusammenfallen lassen, die zukünftige Abfragetokens möglicherweise benötigen. Wir schlagen SaMer vor, ein objektbewusstes Framework zur Token-Zusammenführung, das bildseitige Post-Projektor-Tokens in K repräsentative Zentroide komprimiert und dabei die ursprüngliche Schnittstelle für die späte Interaktion beibehält. SaMer verwendet Objektannotationen nur während des Trainings als Zusammenführungsprior, um eine durch Instanzen hindurch erfolgende Vermischung zu vermeiden, benötigt zur Inferenzzeit keine Ground-Truth-Bounding-Boxes oder Detektoren und passt lediglich die gemeinsame Projektionsschicht an, während die visuellen und sprachlichen Backbones eingefroren bleiben. Mit K=64 entfernt SaMer mehr als 93 % der bildseitigen Tokens und reduziert den Speicherbedarf von ColPali um das 16,09-Fache, während es den R@1 auf Flickr30K und MSCOCO verbessert. Diese Verbesserungen ergeben sich, weil die objektbewusste Zusammenführung abfrageselektierbare Objektevidenz bewahrt, die durch Pruning oder reines Merkmals-Pooling entfernt oder kollabiert werden kann. SaMer übertrifft zudem Komprimierungs-Baselines und zeigt ein stärkeres Phrasenebenen-Grounding, was darauf hindeutet, dass effizientes mehrvektorielles Retrieval nicht nur von der Reduzierung der Token-Anzahl abhängt, sondern auch von der Bewahrung der Evidenz, die zukünftige Abfragetokens benötigen.

English

Multi-vector vision-language retrieval preserves fine-grained visual evidence through maximum-similarity late interaction, but dense image-side tokens make storage and scoring expensive. Existing token compression methods reduce this cost, yet they can remove or collapse object- and region-level evidence that future query tokens may need to select. We propose SaMer, an object-aware token merging framework that compresses image-side post-projector tokens into K representative centroids while preserving the original late-interaction interface. SaMer uses object annotations only during training as a merge prior to discourage cross-instance mixing, requires no ground-truth bounding boxes or detectors at inference time, and adapts only the shared projection layer with frozen vision and language backbones. With K=64, SaMer removes more than 93% of image-side tokens and reduces ColPali storage by 16.09times, while improving R@1 on Flickr30K and MSCOCO. These gains arise because object-aware merging preserves query-selectable object evidence that pruning or feature-only pooling can remove or collapse. SaMer also outperforms compression baselines and shows stronger phrase-level grounding, suggesting that efficient multi-vector retrieval depends not only on reducing token count, but on preserving the evidence future query tokens need to select.