SOCO: Benchmarking der semantischen Objektkorrespondenz in Vision Foundation Models

Zusammenfassung

Die Messung des strukturierten Objektverständnisses in visuellen Foundation-Modellen bleibt aufgrund inkonsistenter Evaluierungsprotokolle und begrenzter Teilebene-Überwachung eine Herausforderung. Semantische Korrespondenz (SC) bewertet diese Fähigkeit, indem sie testet, ob Objektteile über Instanzen und Kategorien hinweg unter großen Variationen in Erscheinungsbild, Blickwinkel und Geometrie abgeglichen werden können. Um eine systematische SC-Evaluierung zu ermöglichen, führen wir SOCO ein, einen neuen Benchmark für Semantic Object Correspondence, der eine Taxonomie von Korrespondenztypen einführt und konsistente, funktional bedeutsame Keypoint-Annotationen über 100 Kategorien und über 1 Million Korrespondenzpaare bereitstellt. Darüber hinaus enthält SOCO sprachliche Beschreibungen der Keypoints, was die Evaluierung von großen Vision-Language-Modellen (LVLMs) und deren feinkörnigem Teilebene-Verständnis ermöglicht. Umfassende Experimente zeigen, dass (i) visuelle Foundation-Backbones starke semantische Strukturen kodieren, aber Korrespondenzen schlecht über verwandte Kategorien übertragen und die Position von Objektteilen nur teilweise erfassen, (ii) LVLMs bei der textgesteuerten Teilelokalisierung stärker sind als beim visuellen Referenzvergleich über Bilder hinweg, was eine Lücke zwischen sprachbasierter Lokalisierung und feinkörniger visueller Korrespondenz offenbart, und (iii) die Korrespondenzleistung die Leistung bei dichten Downstream-Aufgaben, einschließlich Segmentierung, Tracking, 3D-Posenschätzung und 3D-Erkennung, stärker vorhersagt als die ImageNet-Klassifikation. Zusammen betrachtet positionieren diese Ergebnisse SOCO als Benchmark für die Qualität strukturierter, teilebezogener Repräsentationen in visuellen und multimodalen Foundation-Modellen.

English

Measuring structured object understanding in vision foundation models remains challenging due to inconsistent evaluation protocols and limited part-level supervision. Semantic correspondence (SC) evaluates this capability by testing whether object parts can be matched across instances and categories under large variations in appearance, viewpoint, and geometry. To enable a systematic SC evaluation, we introduce SOCO, a new benchmark for Semantic Object Correspondence that introduces a taxonomy of correspondence types and provides consistent, functionally meaningful keypoint annotations across 100 categories and over 1M correspondence pairs. In addition, SOCO includes keypoint language descriptions, enabling the evaluation of large vision-language models (LVLMs) and their fine-grained part-level understanding. Comprehensive experiments reveal that (i) vision foundation backbones encode strong semantic structure but transfer correspondences poorly across related categories and only partially capture object-part position, (ii) LVLMs are stronger at text-prompted part localization than at visual-reference cross-image matching, exposing a gap between language-grounded localization and fine-grained visual correspondence, and (iii) correspondence performance predicts performance on dense downstream tasks, including segmentation, tracking, 3D pose estimation, and 3D detection, more strongly than ImageNet classification. Together, these findings position SOCO as a benchmark for structured, part-level representation quality in vision and multimodal foundation models.