DMV3D: Denoising Multi-View Diffusie met behulp van 3D Groot Reconstructie Model

DMV3D: Denoising Multi-View Diffusion using 3D Large Reconstruction Model

November 15, 2023

Auteurs: Yinghao Xu, Hao Tan, Fujun Luan, Sai Bi, Peng Wang, Jiahao Li, Zifan Shi, Kalyan Sunkavalli, Gordon Wetzstein, Zexiang Xu, Kai Zhang

cs.AI

Samenvatting

Wij stellen DMV3D voor, een nieuwe benadering voor 3D-generatie die gebruikmaakt van een transformer-gebaseerd 3D groot reconstructiemodel om multi-view diffusie te denoizen. Ons reconstructiemodel omvat een triplane NeRF-representatie en kan ruisrijke multi-view afbeeldingen denoizen via NeRF-reconstructie en rendering, waardoor single-stage 3D-generatie in ongeveer 30 seconden op een enkele A100 GPU wordt bereikt. We trainen DMV3D op grootschalige multi-view afbeeldingsdatasets van zeer diverse objecten met alleen afbeeldingsreconstructieverliezen, zonder toegang tot 3D-assets. We demonstreren state-of-the-art resultaten voor het single-image reconstructieprobleem, waarbij probabilistische modellering van onzichtbare objectonderdelen vereist is voor het genereren van diverse reconstructies met scherpe texturen. We tonen ook hoogwaardige text-to-3D generatieresultaten die eerdere 3D-diffusiemodellen overtreffen. Ons projectwebsite is te vinden op: https://justimyhxu.github.io/projects/dmv3d/.

English

We propose DMV3D, a novel 3D generation approach that uses a transformer-based 3D large reconstruction model to denoise multi-view diffusion. Our reconstruction model incorporates a triplane NeRF representation and can denoise noisy multi-view images via NeRF reconstruction and rendering, achieving single-stage 3D generation in sim30s on single A100 GPU. We train DMV3D on large-scale multi-view image datasets of highly diverse objects using only image reconstruction losses, without accessing 3D assets. We demonstrate state-of-the-art results for the single-image reconstruction problem where probabilistic modeling of unseen object parts is required for generating diverse reconstructions with sharp textures. We also show high-quality text-to-3D generation results outperforming previous 3D diffusion models. Our project website is at: https://justimyhxu.github.io/projects/dmv3d/ .