3D Congealing: 3D-Bewuste Afbeeldingen Uitlijnen in Ongecontroleerde Omgevingen

3D Congealing: 3D-Aware Image Alignment in the Wild

April 2, 2024

Auteurs: Yunzhi Zhang, Zizhang Li, Amit Raj, Andreas Engelhardt, Yuanzhen Li, Tingbo Hou, Jiajun Wu, Varun Jampani

cs.AI

Samenvatting

We stellen 3D Congealing voor, een nieuw probleem van 3D-aware uitlijning voor 2D-afbeeldingen die semantisch vergelijkbare objecten vastleggen. Gegeven een verzameling ongelabelde internetafbeeldingen, is ons doel om de gedeelde semantische delen van de invoer te associëren en de kennis van 2D-afbeeldingen samen te voegen in een gedeelde 3D canonieke ruimte. We introduceren een algemeen raamwerk dat deze taak aanpakt zonder vormtemplates, poses of cameraparameters te veronderstellen. De kern ervan is een canonieke 3D-representatie die geometrische en semantische informatie omvat. Het raamwerk optimaliseert de canonieke representatie samen met de pose voor elke invoerafbeelding, en een per-afbeelding coördinatenkaart die 2D-pixelcoördinaten vervormt naar het 3D canonieke frame om de vormovereenkomst te verklaren. Het optimalisatieproces combineert voorkennis van een vooraf getraind beeldgeneratief model en semantische informatie van invoerafbeeldingen. Het eerste biedt sterke kennisbegeleiding voor deze onderbeperkte taak, terwijl het laatste de nodige informatie levert om de trainingsdatabias van het vooraf getrainde model te verminderen. Ons raamwerk kan worden gebruikt voor verschillende taken zoals correspondentieovereenkomst, pose-estimatie en beeldbewerking, en behaalt sterke resultaten op real-world beelddatasets onder uitdagende belichtingsomstandigheden en op in-the-wild online beeldcollecties.

English

We propose 3D Congealing, a novel problem of 3D-aware alignment for 2D images capturing semantically similar objects. Given a collection of unlabeled Internet images, our goal is to associate the shared semantic parts from the inputs and aggregate the knowledge from 2D images to a shared 3D canonical space. We introduce a general framework that tackles the task without assuming shape templates, poses, or any camera parameters. At its core is a canonical 3D representation that encapsulates geometric and semantic information. The framework optimizes for the canonical representation together with the pose for each input image, and a per-image coordinate map that warps 2D pixel coordinates to the 3D canonical frame to account for the shape matching. The optimization procedure fuses prior knowledge from a pre-trained image generative model and semantic information from input images. The former provides strong knowledge guidance for this under-constraint task, while the latter provides the necessary information to mitigate the training data bias from the pre-trained model. Our framework can be used for various tasks such as correspondence matching, pose estimation, and image editing, achieving strong results on real-world image datasets under challenging illumination conditions and on in-the-wild online image collections.