La géométrie compte : les a priori de fondation 3D pour l'apprentissage de la correspondance sémantique

Résumé

Les caractéristiques fondamentales issues des modèles de vision auto-supervisés et des modèles de diffusion texte-image se sont révélées efficaces pour l'estimation de correspondances sémantiques. Cependant, comme ces caractéristiques sont principalement apprises à partir d'objectifs d'image 2D, elles manquent de conscience 3D explicite et confondent souvent les côtés symétriques des objets, les parties répétées et les structures visuellement similaires qui sont pourtant distinctes en 3D. Nous introduisons un cadre de post-entraînement conscient de la 3D qui va au-delà des caractéristiques fondamentales 2D disponibles en intégrant les a priori issus de modèles fondamentaux 3D. À partir d'une image donnée, notre méthode utilise SAM3D pour estimer la géométrie et la pose de l'objet, puis affine la pose par une optimisation par rendu et comparaison. Ensuite, nous projetons les descripteurs PartField de la géométrie reconstruite dans le plan image en fonction de la pose estimée de l'objet. Les cartes de caractéristiques géométriques résultantes complètent les caractéristiques de DINO et de Stable Diffusion, tandis que les distances géodésiques sur les formes reconstruites permettent un filtrage fiable des correspondances candidates. Nous utilisons les correspondances filtrées comme supervision pour entraîner un adaptateur léger au-dessus de DINO et de Stable Diffusion pour la correspondance sémantique. Contrairement aux approches de post-entraînement antérieures qui nécessitent des annotations de pose et reposent sur une géométrie sphérique grossière, notre méthode obtient automatiquement une structure 3D propre à l'instance et l'utilise pour guider l'apprentissage des correspondances. Les expériences montrent que notre approche améliore la correspondance sémantique par rapport aux méthodes précédentes tout en réduisant la supervision géométrique manuelle. Le code et le modèle sont disponibles à l'adresse https://github.com/GenIntel/3D-SC.

English

Foundation features from self-supervised vision models and text-to-image diffusion models have proven effective for semantic correspondence estimation. However, because these features are learned primarily from 2D image objectives, they lack explicit 3D awareness and often confuse symmetric object sides, repeated parts, and visually similar structures that are distinct in 3D. We introduce a 3D-aware post-training framework that goes beyond available 2D foundation features by incorporating priors from 3D foundation models. Given an image, our method uses SAM3D to estimate object geometry and pose, and refines the pose through render-and-compare optimization. Subsequently, we render PartField descriptors from the reconstructed geometry into the image plane based on the estimated object pose. The resulting geometry-aware feature maps complement DINO and Stable Diffusion features, while geodesic distances on the reconstructed shapes enable reliable filtering of candidate correspondences. We use the filtered matches as supervision to train a lightweight adapter on top of DINO and Stable Diffusion for semantic correspondence. In contrast to prior post-training approaches that require pose annotations and rely on coarse spherical geometry, our method automatically obtains instance-specific 3D structure and uses it to guide correspondence learning. Experiments show that our approach improves semantic correspondence over the prior methods while reducing manual geometric supervision. Code and model can be found at https:/github.com/GenIntel/3D-SC.