La geometría importa: Priors fundamentales 3D para el aprendizaje de correspondencia semántica

Resumen

Las características fundamentales de modelos de visión autosupervisados y modelos de difusión texto-imagen han demostrado ser efectivas para la estimación de correspondencia semántica. Sin embargo, debido a que estas características se aprenden principalmente a partir de objetivos de imágenes 2D, carecen de una conciencia explícita en 3D y con frecuencia confunden lados simétricos de objetos, partes repetidas y estructuras visualmente similares que son distintas en 3D. Introducimos un marco de post-entrenamiento consciente de 3D que va más allá de las características fundamentales 2D disponibles al incorporar priors de modelos fundamentales 3D. Dada una imagen, nuestro método utiliza SAM3D para estimar la geometría y la pose del objeto, y refina la pose mediante una optimización de renderizado y comparación. Posteriormente, renderizamos descriptores PartField de la geometría reconstruida en el plano de la imagen según la pose estimada del objeto. Los mapas de características resultantes, conscientes de la geometría, complementan las características de DINO y Stable Diffusion, mientras que las distancias geodésicas en las formas reconstruidas permiten un filtrado fiable de las correspondencias candidatas. Utilizamos las coincidencias filtradas como supervisión para entrenar un adaptador ligero sobre DINO y Stable Diffusion para la correspondencia semántica. En contraste con enfoques previos de post-entrenamiento que requieren anotaciones de pose y dependen de una geometría esférica gruesa, nuestro método obtiene automáticamente una estructura 3D específica de la instancia y la utiliza para guiar el aprendizaje de correspondencias. Los experimentos muestran que nuestro enfoque mejora la correspondencia semántica en comparación con métodos anteriores, al tiempo que reduce la supervisión geométrica manual. El código y el modelo se pueden encontrar en https://github.com/GenIntel/3D-SC.

English

Foundation features from self-supervised vision models and text-to-image diffusion models have proven effective for semantic correspondence estimation. However, because these features are learned primarily from 2D image objectives, they lack explicit 3D awareness and often confuse symmetric object sides, repeated parts, and visually similar structures that are distinct in 3D. We introduce a 3D-aware post-training framework that goes beyond available 2D foundation features by incorporating priors from 3D foundation models. Given an image, our method uses SAM3D to estimate object geometry and pose, and refines the pose through render-and-compare optimization. Subsequently, we render PartField descriptors from the reconstructed geometry into the image plane based on the estimated object pose. The resulting geometry-aware feature maps complement DINO and Stable Diffusion features, while geodesic distances on the reconstructed shapes enable reliable filtering of candidate correspondences. We use the filtered matches as supervision to train a lightweight adapter on top of DINO and Stable Diffusion for semantic correspondence. In contrast to prior post-training approaches that require pose annotations and rely on coarse spherical geometry, our method automatically obtains instance-specific 3D structure and uses it to guide correspondence learning. Experiments show that our approach improves semantic correspondence over the prior methods while reducing manual geometric supervision. Code and model can be found at https:/github.com/GenIntel/3D-SC.