Amostragem de Cenas 3D Gaussianas em Segundos com Modelos de Difusão Latente
Sampling 3D Gaussian Scenes in Seconds with Latent Diffusion Models
June 18, 2024
Autores: Paul Henderson, Melonie de Almeida, Daniela Ivanova, Titas Anciukevičius
cs.AI
Resumo
Apresentamos um modelo de difusão latente sobre cenas 3D, que pode ser treinado utilizando apenas dados de imagens 2D. Para alcançar isso, primeiro projetamos um autoencoder que mapeia imagens multivista para splats 3D gaussianos, e simultaneamente constrói uma representação latente comprimida desses splats. Em seguida, treinamos um modelo de difusão multivista sobre o espaço latente para aprender um modelo generativo eficiente. Esse pipeline não requer máscaras de objetos nem profundidades, e é adequado para cenas complexas com posições arbitrárias de câmera. Realizamos experimentos cuidadosos em dois conjuntos de dados em larga escala de cenas complexas do mundo real -- MVImgNet e RealEstate10K. Mostramos que nossa abordagem permite gerar cenas 3D em apenas 0,2 segundos, seja do zero, a partir de uma única vista de entrada, ou a partir de vistas esparsas de entrada. Ela produz resultados diversos e de alta qualidade enquanto opera uma ordem de magnitude mais rápido do que modelos de difusão não latentes e modelos generativos baseados em NeRF anteriores.
English
We present a latent diffusion model over 3D scenes, that can be trained using
only 2D image data. To achieve this, we first design an autoencoder that maps
multi-view images to 3D Gaussian splats, and simultaneously builds a compressed
latent representation of these splats. Then, we train a multi-view diffusion
model over the latent space to learn an efficient generative model. This
pipeline does not require object masks nor depths, and is suitable for complex
scenes with arbitrary camera positions. We conduct careful experiments on two
large-scale datasets of complex real-world scenes -- MVImgNet and
RealEstate10K. We show that our approach enables generating 3D scenes in as
little as 0.2 seconds, either from scratch, from a single input view, or from
sparse input views. It produces diverse and high-quality results while running
an order of magnitude faster than non-latent diffusion models and earlier
NeRF-based generative models