AutoDecodende Latente 3D Diffusiemodellen

AutoDecoding Latent 3D Diffusion Models

July 7, 2023

Auteurs: Evangelos Ntavelis, Aliaksandr Siarohin, Kyle Olszewski, Chaoyang Wang, Luc Van Gool, Sergey Tulyakov

cs.AI

Samenvatting

We presenteren een nieuwe aanpak voor het genereren van statische en gearticuleerde 3D-assets, met een 3D-autodecoder als kern. Het 3D-autodecoder-framework integreert eigenschappen die zijn geleerd uit de doeldataset in de latente ruimte, die vervolgens kan worden gedecodeerd naar een volumetrische representatie voor het renderen van beeld-consistente verschijning en geometrie. Vervolgens identificeren we de geschikte tussenliggende volumetrische latente ruimte en introduceren we robuuste normalisatie- en denormalisatie-operaties om een 3D-diffusie te leren vanuit 2D-beelden of monovideo's van rigide of gearticuleerde objecten. Onze aanpak is flexibel genoeg om gebruik te maken van bestaande camerabegeleiding of helemaal geen camerainformatie – in plaats daarvan wordt deze efficiënt geleerd tijdens de training. Onze evaluaties tonen aan dat onze generatieresultaten state-of-the-art alternatieven overtreffen op verschillende benchmarkdatasets en metrieken, waaronder multi-view beelddatasets van synthetische objecten, real-life video's van bewegende mensen en een grootschalige, realistische videodataset van statische objecten.

English

We present a novel approach to the generation of static and articulated 3D assets that has a 3D autodecoder at its core. The 3D autodecoder framework embeds properties learned from the target dataset in the latent space, which can then be decoded into a volumetric representation for rendering view-consistent appearance and geometry. We then identify the appropriate intermediate volumetric latent space, and introduce robust normalization and de-normalization operations to learn a 3D diffusion from 2D images or monocular videos of rigid or articulated objects. Our approach is flexible enough to use either existing camera supervision or no camera information at all -- instead efficiently learning it during training. Our evaluations demonstrate that our generation results outperform state-of-the-art alternatives on various benchmark datasets and metrics, including multi-view image datasets of synthetic objects, real in-the-wild videos of moving people, and a large-scale, real video dataset of static objects.