Geometrie doet ertoe: 3D-basispriors voor het leren van semantische correspondentie

Samenvatting

Fundamentele kenmerken van zelfgesuperviseerde visiemodellen en tekst-naar-beeld diffusiemodellen zijn effectief gebleken voor het schatten van semantische correspondentie. Omdat deze kenmerken echter voornamelijk worden geleerd uit 2D-beelddoelstellingen, ontberen ze expliciet 3D-bewustzijn en verwarren ze vaak symmetrische zijden van objecten, herhaalde onderdelen en visueel gelijkaardige structuren die in 3D verschillend zijn. Wij introduceren een 3D-bewust nabewerkingskader dat verder gaat dan beschikbare 2D-fundamentele kenmerken door voorkennis uit 3D-fundamentmodellen te integreren. Bij een gegeven afbeelding gebruikt onze methode SAM3D om objectgeometrie en -pose te schatten, en verfijnt de pose door middel van render-en-vergelijk optimalisatie. Vervolgens renderen we PartField-beschrijvingen van de gereconstrueerde geometrie naar het beeldvlak op basis van de geschatte objectpose. De resulterende geometriebewuste kenmerkenkaarten vullen DINO- en Stable Diffusion-kenmerken aan, terwijl geodetische afstanden op de gereconstrueerde vormen betrouwbare filtering van kandidaat-correspondenties mogelijk maken. We gebruiken de gefilterde overeenkomsten als supervisie om een lichtgewicht adapter bovenop DINO en Stable Diffusion te trainen voor semantische correspondentie. In tegenstelling tot eerdere nabewerkingsmethoden die pose-annotaties vereisen en vertrouwen op grove bolvormige geometrie, verkrijgt onze methode automatisch instancespecifieke 3D-structuur en gebruikt deze om het leren van correspondentie te sturen. Experimenten tonen aan dat onze aanpak de semantische correspondentie verbetert ten opzichte van eerdere methoden, terwijl handmatige geometrische supervisie wordt verminderd. Code en model zijn te vinden op https://github.com/GenIntel/3D-SC.

English

Foundation features from self-supervised vision models and text-to-image diffusion models have proven effective for semantic correspondence estimation. However, because these features are learned primarily from 2D image objectives, they lack explicit 3D awareness and often confuse symmetric object sides, repeated parts, and visually similar structures that are distinct in 3D. We introduce a 3D-aware post-training framework that goes beyond available 2D foundation features by incorporating priors from 3D foundation models. Given an image, our method uses SAM3D to estimate object geometry and pose, and refines the pose through render-and-compare optimization. Subsequently, we render PartField descriptors from the reconstructed geometry into the image plane based on the estimated object pose. The resulting geometry-aware feature maps complement DINO and Stable Diffusion features, while geodesic distances on the reconstructed shapes enable reliable filtering of candidate correspondences. We use the filtered matches as supervision to train a lightweight adapter on top of DINO and Stable Diffusion for semantic correspondence. In contrast to prior post-training approaches that require pose annotations and rely on coarse spherical geometry, our method automatically obtains instance-specific 3D structure and uses it to guide correspondence learning. Experiments show that our approach improves semantic correspondence over the prior methods while reducing manual geometric supervision. Code and model can be found at https:/github.com/GenIntel/3D-SC.