Геометрия важна: 3D-фундаментальные априорные знания для обучения семантическому соответствию

Аннотация

Базовые признаки, получаемые из самообучаемых моделей зрения и диффузионных моделей преобразования текста в изображение, доказали свою эффективность для оценки семантического соответствия. Однако, поскольку эти признаки обучаются преимущественно на двумерных изображениях, им не хватает явной трехмерной осведомленности, и они часто путают симметричные стороны объектов, повторяющиеся части и визуально схожие структуры, которые различаются в трехмерном пространстве. Мы представляем фреймворк пост-обучения с учетом трехмерной информации, который выходит за рамки доступных двумерных базовых признаков, используя априорные знания из фундаментальных 3D-моделей. Для заданного изображения наш метод применяет SAM3D для оценки геометрии и позы объекта, а затем уточняет позу с помощью оптимизации на основе рендеринга и сравнения. После этого мы проецируем дескрипторы PartField из восстановленной геометрии на плоскость изображения в соответствии с оцененной позой объекта. Полученные карты признаков, учитывающие геометрию, дополняют признаки DINO и Stable Diffusion, в то время как геодезические расстояния на восстановленных формах позволяют надежно фильтровать соответствия-кандидаты. Мы используем отфильтрованные соответствия в качестве обучающих данных для легковесного адаптера, настраиваемого поверх DINO и Stable Diffusion для задачи семантического соответствия. В отличие от предыдущих подходов пост-обучения, которые требуют аннотаций поз и опираются на грубую сферическую геометрию, наш метод автоматически получает инстансно-специфичную 3D-структуру и использует ее для управления обучением соответствий. Эксперименты показывают, что наш подход улучшает семантическое соответствие по сравнению с предыдущими методами, одновременно сокращая необходимость в ручной геометрической разметке. Код и модель доступны по адресу: https://github.com/GenIntel/3D-SC.

English

Foundation features from self-supervised vision models and text-to-image diffusion models have proven effective for semantic correspondence estimation. However, because these features are learned primarily from 2D image objectives, they lack explicit 3D awareness and often confuse symmetric object sides, repeated parts, and visually similar structures that are distinct in 3D. We introduce a 3D-aware post-training framework that goes beyond available 2D foundation features by incorporating priors from 3D foundation models. Given an image, our method uses SAM3D to estimate object geometry and pose, and refines the pose through render-and-compare optimization. Subsequently, we render PartField descriptors from the reconstructed geometry into the image plane based on the estimated object pose. The resulting geometry-aware feature maps complement DINO and Stable Diffusion features, while geodesic distances on the reconstructed shapes enable reliable filtering of candidate correspondences. We use the filtered matches as supervision to train a lightweight adapter on top of DINO and Stable Diffusion for semantic correspondence. In contrast to prior post-training approaches that require pose annotations and rely on coarse spherical geometry, our method automatically obtains instance-specific 3D structure and uses it to guide correspondence learning. Experiments show that our approach improves semantic correspondence over the prior methods while reducing manual geometric supervision. Code and model can be found at https:/github.com/GenIntel/3D-SC.