3D Congealing : Alignement d'images 3D conscient dans des environnements non contrôlés

3D Congealing: 3D-Aware Image Alignment in the Wild

April 2, 2024

Auteurs: Yunzhi Zhang, Zizhang Li, Amit Raj, Andreas Engelhardt, Yuanzhen Li, Tingbo Hou, Jiajun Wu, Varun Jampani

cs.AI

Résumé

Nous proposons le 3D Congealing, un nouveau problème d'alignement 3D pour des images 2D capturant des objets sémantiquement similaires. Étant donné une collection d'images Internet non étiquetées, notre objectif est d'associer les parties sémantiques communes des entrées et d'agréger les connaissances des images 2D dans un espace canonique 3D partagé. Nous introduisons un cadre général qui aborde cette tâche sans supposer de modèles de forme, de poses ou de paramètres de caméra. Au cœur de ce cadre se trouve une représentation canonique 3D qui encapsule des informations géométriques et sémantiques. Le cadre optimise la représentation canonique ainsi que la pose pour chaque image d'entrée, et une carte de coordonnées par image qui déforme les coordonnées des pixels 2D vers le cadre canonique 3D pour tenir compte de la correspondance des formes. La procédure d'optimisation fusionne les connaissances a priori d'un modèle génératif d'images pré-entraîné et les informations sémantiques des images d'entrée. Le premier fournit un guide de connaissances solide pour cette tâche sous-contrainte, tandis que le second fournit les informations nécessaires pour atténuer le biais des données d'entraînement du modèle pré-entraîné. Notre cadre peut être utilisé pour diverses tâches telles que la correspondance de points, l'estimation de pose et l'édition d'images, obtenant des résultats robustes sur des ensembles de données d'images réelles dans des conditions d'éclairage difficiles et sur des collections d'images en ligne non contrôlées.

English

We propose 3D Congealing, a novel problem of 3D-aware alignment for 2D images capturing semantically similar objects. Given a collection of unlabeled Internet images, our goal is to associate the shared semantic parts from the inputs and aggregate the knowledge from 2D images to a shared 3D canonical space. We introduce a general framework that tackles the task without assuming shape templates, poses, or any camera parameters. At its core is a canonical 3D representation that encapsulates geometric and semantic information. The framework optimizes for the canonical representation together with the pose for each input image, and a per-image coordinate map that warps 2D pixel coordinates to the 3D canonical frame to account for the shape matching. The optimization procedure fuses prior knowledge from a pre-trained image generative model and semantic information from input images. The former provides strong knowledge guidance for this under-constraint task, while the latter provides the necessary information to mitigate the training data bias from the pre-trained model. Our framework can be used for various tasks such as correspondence matching, pose estimation, and image editing, achieving strong results on real-world image datasets under challenging illumination conditions and on in-the-wild online image collections.