Сэмплирование трехмерных гауссовских сцен за секунды с помощью моделей латентной диффузии

Sampling 3D Gaussian Scenes in Seconds with Latent Diffusion Models

June 18, 2024

Авторы: Paul Henderson, Melonie de Almeida, Daniela Ivanova, Titas Anciukevičius

cs.AI

Аннотация

Мы представляем модель латентной диффузии по трёхмерным сценам, которую можно обучать, используя только двумерные изображения. Для этого мы сначала разрабатываем автоэнкодер, который отображает многовидовые изображения в трёхмерные гауссовские пятна, одновременно создавая сжатое латентное представление этих пятен. Затем мы обучаем модель диффузии по многовидовым изображениям в латентном пространстве для изучения эффективной генеративной модели. Этот подход не требует масок объектов или глубины и подходит для сложных сцен с произвольными положениями камеры. Мы проводим тщательные эксперименты на двух крупных наборах данных сложных трёхмерных сцен реального мира - MVImgNet и RealEstate10K. Мы показываем, что наш подход позволяет генерировать трёхмерные сцены всего за 0.2 секунды, как с нуля, так и из одного входного вида или из разреженных входных видов. Он производит разнообразные и качественные результаты, работая в десятки раз быстрее, чем модели диффузии без латентности и ранние генеративные модели на основе NeRF.

English

We present a latent diffusion model over 3D scenes, that can be trained using only 2D image data. To achieve this, we first design an autoencoder that maps multi-view images to 3D Gaussian splats, and simultaneously builds a compressed latent representation of these splats. Then, we train a multi-view diffusion model over the latent space to learn an efficient generative model. This pipeline does not require object masks nor depths, and is suitable for complex scenes with arbitrary camera positions. We conduct careful experiments on two large-scale datasets of complex real-world scenes -- MVImgNet and RealEstate10K. We show that our approach enables generating 3D scenes in as little as 0.2 seconds, either from scratch, from a single input view, or from sparse input views. It produces diverse and high-quality results while running an order of magnitude faster than non-latent diffusion models and earlier NeRF-based generative models