ComboVerse: 空間認識型拡散ガイダンスを用いた構成可能な3Dアセット生成

ComboVerse: Compositional 3D Assets Creation Using Spatially-Aware Diffusion Guidance

March 19, 2024

著者: Yongwei Chen, Tengfei Wang, Tong Wu, Xingang Pan, Kui Jia, Ziwei Liu

cs.AI

要旨

与えられた画像から高品質な3Dアセットを生成することは、AR/VRなどの様々なアプリケーションにおいて非常に望ましい。近年の単一画像からの3D生成の進展では、最適化なしに物体の3Dモデルを推論するフィードフォワードモデルが探求されている。単一物体の生成では有望な結果が得られているものの、これらの手法は複数の物体を本質的に含む複雑な3Dアセットのモデル化に苦戦することが多い。本研究では、複数のモデルを組み合わせることを学習することで、複雑な構成を持つ高品質な3Dアセットを生成する3D生成フレームワークであるComboVerseを提案する。1) まず、モデルとデータの両方の観点からこの「複数物体ギャップ」を詳細に分析する。2) 次に、異なる物体の再構築された3Dモデルを用いて、それらのサイズ、回転角度、位置を調整し、与えられた画像に一致する3Dアセットを作成する。3) このプロセスを自動化するために、事前学習された拡散モデルから空間認識スコア蒸留サンプリング（SSDS）を適用し、物体の位置決めをガイドする。提案するフレームワークは、標準的なスコア蒸留サンプリングと比較して物体の空間的アラインメントを重視し、より正確な結果を達成する。大規模な実験により、ComboVerseが既存の手法を上回る構成3Dアセットの生成を実現することが検証された。

English

Generating high-quality 3D assets from a given image is highly desirable in various applications such as AR/VR. Recent advances in single-image 3D generation explore feed-forward models that learn to infer the 3D model of an object without optimization. Though promising results have been achieved in single object generation, these methods often struggle to model complex 3D assets that inherently contain multiple objects. In this work, we present ComboVerse, a 3D generation framework that produces high-quality 3D assets with complex compositions by learning to combine multiple models. 1) We first perform an in-depth analysis of this ``multi-object gap'' from both model and data perspectives. 2) Next, with reconstructed 3D models of different objects, we seek to adjust their sizes, rotation angles, and locations to create a 3D asset that matches the given image. 3) To automate this process, we apply spatially-aware score distillation sampling (SSDS) from pretrained diffusion models to guide the positioning of objects. Our proposed framework emphasizes spatial alignment of objects, compared with standard score distillation sampling, and thus achieves more accurate results. Extensive experiments validate ComboVerse achieves clear improvements over existing methods in generating compositional 3D assets.