潜在拡散モデルを用いた3Dガウシアンシーンの秒単位サンプリング

Sampling 3D Gaussian Scenes in Seconds with Latent Diffusion Models

June 18, 2024

著者: Paul Henderson, Melonie de Almeida, Daniela Ivanova, Titas Anciukevičius

cs.AI

要旨

3Dシーンに対する潜在拡散モデルを提案します。このモデルは、2D画像データのみを使用して学習可能です。これを実現するため、まずマルチビュー画像を3Dガウススプラットにマッピングし、同時にこれらのスプラットの圧縮された潜在表現を構築するオートエンコーダを設計します。次に、潜在空間上でマルチビュー拡散モデルを学習し、効率的な生成モデルを構築します。このパイプラインは、オブジェクトマスクや深度情報を必要とせず、任意のカメラ位置を持つ複雑なシーンに適しています。複雑な実世界のシーンからなる大規模データセット（MVImgNetとRealEstate10K）で詳細な実験を行いました。その結果、本手法は、ゼロから、単一の入力ビューから、または疎な入力ビューから、わずか0.2秒で3Dシーンを生成可能であることを示しました。非潜在拡散モデルや従来のNeRFベースの生成モデルよりも桁違いに高速に動作しながら、多様で高品質な結果を生成します。

English

We present a latent diffusion model over 3D scenes, that can be trained using only 2D image data. To achieve this, we first design an autoencoder that maps multi-view images to 3D Gaussian splats, and simultaneously builds a compressed latent representation of these splats. Then, we train a multi-view diffusion model over the latent space to learn an efficient generative model. This pipeline does not require object masks nor depths, and is suitable for complex scenes with arbitrary camera positions. We conduct careful experiments on two large-scale datasets of complex real-world scenes -- MVImgNet and RealEstate10K. We show that our approach enables generating 3D scenes in as little as 0.2 seconds, either from scratch, from a single input view, or from sparse input views. It produces diverse and high-quality results while running an order of magnitude faster than non-latent diffusion models and earlier NeRF-based generative models