SOCO: Avaliação Comparativa de Correspondência Semântica de Objetos em Modelos Fundamentais de Visão

Resumo

Medir a compreensão de objetos estruturados em modelos de base de visão continua sendo desafiador devido a protocolos de avaliação inconsistentes e à supervisão limitada em nível de partes. A correspondência semântica (CS) avalia essa capacidade testando se partes de objetos podem ser associadas entre instâncias e categorias, sob grandes variações de aparência, ponto de vista e geometria. Para possibilitar uma avaliação sistemática de CS, apresentamos o SOCO, um novo benchmark para Correspondência Semântica de Objetos que introduz uma taxonomia de tipos de correspondência e fornece anotações de pontos-chave consistentes e funcionalmente significativas em 100 categorias e mais de 1 milhão de pares de correspondência. Além disso, o SOCO inclui descrições textuais dos pontos-chave, permitindo a avaliação de grandes modelos de visão e linguagem (LVLMs) e sua compreensão refinada em nível de partes. Experimentos abrangentes revelam que (i) backbones de modelos de base de visão codificam forte estrutura semântica, mas transferem mal as correspondências entre categorias relacionadas e capturam apenas parcialmente a posição das partes dos objetos; (ii) os LVLMs são mais robustos na localização de partes baseada em texto do que na correspondência entre imagens por referência visual, expondo uma lacuna entre a localização fundamentada em linguagem e a correspondência visual refinada; e (iii) o desempenho em correspondência prediz o desempenho em tarefas densas subsequentes — incluindo segmentação, rastreamento, estimativa de pose 3D e detecção 3D — de forma mais forte do que a classificação do ImageNet. Em conjunto, esses resultados posicionam o SOCO como um benchmark para a qualidade de representação estruturada em nível de partes em modelos de base de visão e multimodais.

English

Measuring structured object understanding in vision foundation models remains challenging due to inconsistent evaluation protocols and limited part-level supervision. Semantic correspondence (SC) evaluates this capability by testing whether object parts can be matched across instances and categories under large variations in appearance, viewpoint, and geometry. To enable a systematic SC evaluation, we introduce SOCO, a new benchmark for Semantic Object Correspondence that introduces a taxonomy of correspondence types and provides consistent, functionally meaningful keypoint annotations across 100 categories and over 1M correspondence pairs. In addition, SOCO includes keypoint language descriptions, enabling the evaluation of large vision-language models (LVLMs) and their fine-grained part-level understanding. Comprehensive experiments reveal that (i) vision foundation backbones encode strong semantic structure but transfer correspondences poorly across related categories and only partially capture object-part position, (ii) LVLMs are stronger at text-prompted part localization than at visual-reference cross-image matching, exposing a gap between language-grounded localization and fine-grained visual correspondence, and (iii) correspondence performance predicts performance on dense downstream tasks, including segmentation, tracking, 3D pose estimation, and 3D detection, more strongly than ImageNet classification. Together, these findings position SOCO as a benchmark for structured, part-level representation quality in vision and multimodal foundation models.