SOCO: 視覚基盤モデルにおける意味的物体対応のベンチマーキング

要旨

視覚基盤モデルにおける構造化された物体理解の計測は、一貫性のない評価プロトコルと限られた部品レベルの教師信号のために依然として困難である。意味的対応（SC）は、外観、視点、形状の大きな変動の下で、物体の部品がインスタンス間やカテゴリ間でマッチングできるかどうかをテストすることで、この能力を評価する。体系的なSC評価を可能にするために、我々はSemantic Object Correspondenceの新しいベンチマークであるSOCOを導入する。これは対応タイプの分類法を導入し、100カテゴリ、100万以上の対応ペアにわたって一貫性のある機能的に意味のあるキーポイントアノテーションを提供する。さらに、SOCOはキーポイントの言語記述を含み、大規模視覚言語モデル（LVLM）とその細粒度の部品レベル理解の評価を可能にする。包括的な実験により、以下のことが明らかになった。(i) 視覚基盤バックボーンは強力な意味構造をエンコードするが、関連カテゴリ間での対応転送は不十分であり、物体部品の位置を部分的にしか捉えていない。(ii) LVLMは、視覚参照を用いた画像間マッチングよりも、テキストプロンプトによる部品位置特定に優れており、言語に基づく位置特定と細粒度の視覚的対応の間にギャップがあることが明らかになった。(iii) 対応性能は、ImageNet分類よりも、セグメンテーション、トラッキング、3D姿勢推定、3D検出などの高密度下流タスクの性能をより強く予測する。これらの知見は、SOCOを視覚およびマルチモーダル基盤モデルにおける構造化された部品レベルの表現品質のベンチマークとして位置づける。

English

Measuring structured object understanding in vision foundation models remains challenging due to inconsistent evaluation protocols and limited part-level supervision. Semantic correspondence (SC) evaluates this capability by testing whether object parts can be matched across instances and categories under large variations in appearance, viewpoint, and geometry. To enable a systematic SC evaluation, we introduce SOCO, a new benchmark for Semantic Object Correspondence that introduces a taxonomy of correspondence types and provides consistent, functionally meaningful keypoint annotations across 100 categories and over 1M correspondence pairs. In addition, SOCO includes keypoint language descriptions, enabling the evaluation of large vision-language models (LVLMs) and their fine-grained part-level understanding. Comprehensive experiments reveal that (i) vision foundation backbones encode strong semantic structure but transfer correspondences poorly across related categories and only partially capture object-part position, (ii) LVLMs are stronger at text-prompted part localization than at visual-reference cross-image matching, exposing a gap between language-grounded localization and fine-grained visual correspondence, and (iii) correspondence performance predicts performance on dense downstream tasks, including segmentation, tracking, 3D pose estimation, and 3D detection, more strongly than ImageNet classification. Together, these findings position SOCO as a benchmark for structured, part-level representation quality in vision and multimodal foundation models.