Congealing 3D: Alineación de Imágenes Consciente de 3D en Entornos No Controlados

3D Congealing: 3D-Aware Image Alignment in the Wild

April 2, 2024

Autores: Yunzhi Zhang, Zizhang Li, Amit Raj, Andreas Engelhardt, Yuanzhen Li, Tingbo Hou, Jiajun Wu, Varun Jampani

cs.AI

Resumen

Proponemos 3D Congealing, un problema novedoso de alineación 3D-consciente para imágenes 2D que capturan objetos semánticamente similares. Dada una colección de imágenes de Internet sin etiquetar, nuestro objetivo es asociar las partes semánticas compartidas de las entradas y agregar el conocimiento de las imágenes 2D a un espacio canónico 3D compartido. Introducimos un marco general que aborda la tarea sin asumir plantillas de formas, poses o cualquier parámetro de cámara. En su núcleo se encuentra una representación canónica 3D que encapsula información geométrica y semántica. El marco optimiza la representación canónica junto con la pose para cada imagen de entrada y un mapa de coordenadas por imagen que transforma las coordenadas de píxeles 2D al marco canónico 3D para tener en cuenta la coincidencia de formas. El procedimiento de optimización fusiona el conocimiento previo de un modelo generativo de imágenes preentrenado y la información semántica de las imágenes de entrada. El primero proporciona una guía de conocimiento sólida para esta tarea sub-restringida, mientras que el segundo aporta la información necesaria para mitigar el sesgo de los datos de entrenamiento del modelo preentrenado. Nuestro marco puede utilizarse para diversas tareas, como la coincidencia de correspondencias, la estimación de poses y la edición de imágenes, logrando resultados sólidos en conjuntos de datos de imágenes del mundo real bajo condiciones de iluminación desafiantes y en colecciones de imágenes en línea en entornos no controlados.

English

We propose 3D Congealing, a novel problem of 3D-aware alignment for 2D images capturing semantically similar objects. Given a collection of unlabeled Internet images, our goal is to associate the shared semantic parts from the inputs and aggregate the knowledge from 2D images to a shared 3D canonical space. We introduce a general framework that tackles the task without assuming shape templates, poses, or any camera parameters. At its core is a canonical 3D representation that encapsulates geometric and semantic information. The framework optimizes for the canonical representation together with the pose for each input image, and a per-image coordinate map that warps 2D pixel coordinates to the 3D canonical frame to account for the shape matching. The optimization procedure fuses prior knowledge from a pre-trained image generative model and semantic information from input images. The former provides strong knowledge guidance for this under-constraint task, while the latter provides the necessary information to mitigate the training data bias from the pre-trained model. Our framework can be used for various tasks such as correspondence matching, pose estimation, and image editing, achieving strong results on real-world image datasets under challenging illumination conditions and on in-the-wild online image collections.