AutoDecoding潜在3D拡散モデル

要旨

本論文では、3Dオートデコーダを中核とした静的および関節付き3Dアセット生成の新たなアプローチを提案する。3Dオートデコーダフレームワークは、ターゲットデータセットから学習した特性を潜在空間に埋め込み、それをボリューム表現にデコードすることで、視点整合性のある外観と形状をレンダリングする。次に、適切な中間ボリューム潜在空間を特定し、堅牢な正規化および非正規化操作を導入することで、剛体または関節付きオブジェクトの2D画像または単眼動画から3D拡散を学習する。本手法は、既存のカメラ監視を使用する場合も、カメラ情報を全く使用しない場合も柔軟に対応可能であり、代わりにトレーニング中に効率的に学習する。評価の結果、本手法の生成結果は、合成オブジェクトの多視点画像データセット、移動する人物の実世界動画、および大規模な静的オブジェクトの実動画データセットを含む様々なベンチマークデータセットと評価指標において、最先端の代替手法を凌駕することが実証された。

English

We present a novel approach to the generation of static and articulated 3D assets that has a 3D autodecoder at its core. The 3D autodecoder framework embeds properties learned from the target dataset in the latent space, which can then be decoded into a volumetric representation for rendering view-consistent appearance and geometry. We then identify the appropriate intermediate volumetric latent space, and introduce robust normalization and de-normalization operations to learn a 3D diffusion from 2D images or monocular videos of rigid or articulated objects. Our approach is flexible enough to use either existing camera supervision or no camera information at all -- instead efficiently learning it during training. Our evaluations demonstrate that our generation results outperform state-of-the-art alternatives on various benchmark datasets and metrics, including multi-view image datasets of synthetic objects, real in-the-wild videos of moving people, and a large-scale, real video dataset of static objects.

AutoDecoding潜在3D拡散モデル

AutoDecoding Latent 3D Diffusion Models

要旨

Support