SOCO: Бенчмаркинг семантического соответствия объектов в фундаментальных моделях зрения

Аннотация

Измерение структурированного понимания объектов в фундаментальных моделях зрения остаётся сложной задачей из-за несогласованных протоколов оценки и ограниченного контроля на уровне частей. Семантическое соответствие (SC) оценивает эту способность, проверяя, могут ли части объектов быть сопоставлены между различными экземплярами и категориями при значительных вариациях внешнего вида, ракурса и геометрии. Для обеспечения систематической оценки SC мы представляем SOCO — новый бенчмарк для семантического соответствия объектов, который вводит таксономию типов соответствия и предоставляет согласованные, функционально значимые аннотации ключевых точек по 100 категориям и более 1 миллиона пар соответствия. Кроме того, SOCO включает текстовые описания ключевых точек, что позволяет оценивать большие модели зрения и языка (LVLM) и их детальное понимание на уровне частей. Всесторонние эксперименты показывают, что (i) базовые архитектуры моделей зрения кодируют сильную семантическую структуру, но плохо переносят соответствия между родственными категориями и лишь частично улавливают положение частей объектов; (ii) LVLM более сильны в локализации частей по текстовому запросу, чем в кросс-изображенческом сопоставлении по визуальному референсу, что выявляет разрыв между локализацией на основе языка и детальным визуальным соответствием; и (iii) качество соответствия предсказывает производительность на плотных downstream-задачах, включая сегментацию, отслеживание, оценку 3D-позы и 3D-обнаружение, более сильно, чем классификация ImageNet. В совокупности эти результаты позиционируют SOCO как бенчмарк для оценки качества структурированных представлений на уровне частей в моделях зрения и мультимодальных фундаментальных моделях.

English

Measuring structured object understanding in vision foundation models remains challenging due to inconsistent evaluation protocols and limited part-level supervision. Semantic correspondence (SC) evaluates this capability by testing whether object parts can be matched across instances and categories under large variations in appearance, viewpoint, and geometry. To enable a systematic SC evaluation, we introduce SOCO, a new benchmark for Semantic Object Correspondence that introduces a taxonomy of correspondence types and provides consistent, functionally meaningful keypoint annotations across 100 categories and over 1M correspondence pairs. In addition, SOCO includes keypoint language descriptions, enabling the evaluation of large vision-language models (LVLMs) and their fine-grained part-level understanding. Comprehensive experiments reveal that (i) vision foundation backbones encode strong semantic structure but transfer correspondences poorly across related categories and only partially capture object-part position, (ii) LVLMs are stronger at text-prompted part localization than at visual-reference cross-image matching, exposing a gap between language-grounded localization and fine-grained visual correspondence, and (iii) correspondence performance predicts performance on dense downstream tasks, including segmentation, tracking, 3D pose estimation, and 3D detection, more strongly than ImageNet classification. Together, these findings position SOCO as a benchmark for structured, part-level representation quality in vision and multimodal foundation models.