AutoDecodificação de Modelos de Difusão Latente 3D

AutoDecoding Latent 3D Diffusion Models

July 7, 2023

Autores: Evangelos Ntavelis, Aliaksandr Siarohin, Kyle Olszewski, Chaoyang Wang, Luc Van Gool, Sergey Tulyakov

cs.AI

Resumo

Apresentamos uma abordagem inovadora para a geração de ativos 3D estáticos e articulados que tem como núcleo um autodecodificador 3D. O framework do autodecodificador 3D incorpora propriedades aprendidas do conjunto de dados alvo no espaço latente, que pode então ser decodificado em uma representação volumétrica para renderizar aparência e geometria consistentes com a visão. Em seguida, identificamos o espaço latente volumétrico intermediário apropriado e introduzimos operações robustas de normalização e desnormalização para aprender uma difusão 3D a partir de imagens 2D ou vídeos monoculares de objetos rígidos ou articulados. Nossa abordagem é flexível o suficiente para utilizar tanto supervisão de câmera existente quanto nenhuma informação de câmera — aprendendo-a de forma eficiente durante o treinamento. Nossas avaliações demonstram que nossos resultados de geração superam alternativas state-of-the-art em vários conjuntos de dados de benchmark e métricas, incluindo conjuntos de dados de imagens multi-visão de objetos sintéticos, vídeos reais de pessoas em movimento capturados em ambientes naturais e um grande conjunto de dados de vídeos reais de objetos estáticos.

English

We present a novel approach to the generation of static and articulated 3D assets that has a 3D autodecoder at its core. The 3D autodecoder framework embeds properties learned from the target dataset in the latent space, which can then be decoded into a volumetric representation for rendering view-consistent appearance and geometry. We then identify the appropriate intermediate volumetric latent space, and introduce robust normalization and de-normalization operations to learn a 3D diffusion from 2D images or monocular videos of rigid or articulated objects. Our approach is flexible enough to use either existing camera supervision or no camera information at all -- instead efficiently learning it during training. Our evaluations demonstrate that our generation results outperform state-of-the-art alternatives on various benchmark datasets and metrics, including multi-view image datasets of synthetic objects, real in-the-wild videos of moving people, and a large-scale, real video dataset of static objects.