3D Congealing: Allineamento di Immagini 3D-Consapevole in Contesti Non Controllati

3D Congealing: 3D-Aware Image Alignment in the Wild

April 2, 2024

Autori: Yunzhi Zhang, Zizhang Li, Amit Raj, Andreas Engelhardt, Yuanzhen Li, Tingbo Hou, Jiajun Wu, Varun Jampani

cs.AI

Abstract

Proponiamo il 3D Congealing, un nuovo problema di allineamento 3D-aware per immagini 2D che catturano oggetti semanticamente simili. Dato un insieme di immagini Internet non etichettate, il nostro obiettivo è associare le parti semantiche condivise dagli input e aggregare la conoscenza dalle immagini 2D in uno spazio canonico 3D condiviso. Introduciamo un framework generale che affronta il compito senza assumere modelli di forma, pose o parametri della fotocamera. Al suo centro c'è una rappresentazione canonica 3D che racchiude informazioni geometriche e semantiche. Il framework ottimizza la rappresentazione canonica insieme alla posa per ogni immagine di input e una mappa di coordinate per immagine che deforma le coordinate dei pixel 2D nel frame canonico 3D per tenere conto della corrispondenza delle forme. La procedura di ottimizzazione fonde la conoscenza a priori di un modello generativo di immagini pre-addestrato e le informazioni semantiche delle immagini di input. Il primo fornisce una guida conoscitiva forte per questo compito sottovincolato, mentre il secondo fornisce le informazioni necessarie per mitigare il bias dei dati di addestramento del modello pre-addestrato. Il nostro framework può essere utilizzato per vari compiti come la corrispondenza di punti, la stima della posa e la modifica delle immagini, ottenendo risultati solidi su dataset di immagini reali in condizioni di illuminazione complesse e su raccolte di immagini online in-the-wild.

English

We propose 3D Congealing, a novel problem of 3D-aware alignment for 2D images capturing semantically similar objects. Given a collection of unlabeled Internet images, our goal is to associate the shared semantic parts from the inputs and aggregate the knowledge from 2D images to a shared 3D canonical space. We introduce a general framework that tackles the task without assuming shape templates, poses, or any camera parameters. At its core is a canonical 3D representation that encapsulates geometric and semantic information. The framework optimizes for the canonical representation together with the pose for each input image, and a per-image coordinate map that warps 2D pixel coordinates to the 3D canonical frame to account for the shape matching. The optimization procedure fuses prior knowledge from a pre-trained image generative model and semantic information from input images. The former provides strong knowledge guidance for this under-constraint task, while the latter provides the necessary information to mitigate the training data bias from the pre-trained model. Our framework can be used for various tasks such as correspondence matching, pose estimation, and image editing, achieving strong results on real-world image datasets under challenging illumination conditions and on in-the-wild online image collections.