MicroDreamer: スコアベース反復再構成によるゼロショット3D生成をsim20秒で実現

MicroDreamer: Zero-shot 3D Generation in sim20 Seconds by Score-based Iterative Reconstruction

April 30, 2024

著者: Luxi Chen, Zhengyi Wang, Chongxuan Li, Tingting Gao, Hang Su, Jun Zhu

cs.AI

要旨

スコア蒸留サンプリング（SDS）などの最適化ベースのアプローチは、ゼロショット3D生成において有望ですが、各サンプルに必要な関数評価回数（NFE）が多いため、効率性が低いという課題があります。本論文では、マルチビュースコアベース拡散モデルを用いた3D生成のための効率的で汎用的なアルゴリズムである、スコアベース反復再構成（SIR）を提案します。拡散モデルによって生成された画像を基に、SIRは3D再構成プロセスを模倣し、SDSの単一最適化とは異なり、3Dパラメータを繰り返し最適化することでNFEを削減します。さらに、ピクセル空間での最適化などの改良を加え、様々な3D表現や3D生成タスクに広く適用可能な効率的なアプローチであるMicroDreamerを提案します。特に、同等の性能を維持しつつ、MicroDreamerはニューラルラジアンスフィールドの生成においてSDSよりも5～20倍高速であり、3Dガウススプリッティングからのメッシュ生成には単一のA100 GPU上で約20秒を要し、最速のゼロショットベースラインであるDreamGaussianの時間を半減させます。私たちのコードはhttps://github.com/ML-GSAI/MicroDreamerで公開されています。

English

Optimization-based approaches, such as score distillation sampling (SDS), show promise in zero-shot 3D generation but suffer from low efficiency, primarily due to the high number of function evaluations (NFEs) required for each sample. In this paper, we introduce score-based iterative reconstruction (SIR), an efficient and general algorithm for 3D generation with a multi-view score-based diffusion model. Given the images produced by the diffusion model, SIR reduces NFEs by repeatedly optimizing 3D parameters, unlike the single optimization in SDS, mimicking the 3D reconstruction process. With other improvements including optimization in the pixel space, we present an efficient approach called MicroDreamer that generally applies to various 3D representations and 3D generation tasks. In particular, retaining a comparable performance, MicroDreamer is 5-20 times faster than SDS in generating neural radiance field and takes about 20 seconds to generate meshes from 3D Gaussian splitting on a single A100 GPU, halving the time of the fastest zero-shot baseline, DreamGaussian. Our code is available at https://github.com/ML-GSAI/MicroDreamer.