Phidias: テキスト、画像、および3D条件から3Dコンテンツを生成するための参照拡張拡散を用いた生成モデル

Phidias: A Generative Model for Creating 3D Content from Text, Image, and 3D Conditions with Reference-Augmented Diffusion

September 17, 2024

著者: Zhenwei Wang, Tengfei Wang, Zexin He, Gerhard Hancke, Ziwei Liu, Rynson W. H. Lau

cs.AI

要旨

3Dモデリングにおいて、デザイナーはしばしば既存の3Dモデルを参照して新しいモデルを作成します。この実践は、拡散を使用した参照拡張3D生成のための革新的な生成モデルであるPhidiasの開発に影響を与えました。与えられた画像に対して、当社の手法は取得されたまたはユーザー提供の3D参照モデルを活用して生成プロセスをガイドし、それにより生成品質、汎化能力、および制御可能性を向上させます。当社のモデルは、以下の3つの主要なコンポーネントを統合しています：1) 条件付け強度を動的に調整するメタ-ControlNet、2) 入力画像と3D参照との不整合を緩和する動的参照ルーティング、および3) 進行的カリキュラムでの自己教師付きトレーニングを可能にする自己参照拡張。これらの設計は、既存の手法に比べて明確な改善をもたらします。Phidiasは、テキスト、画像、および3D条件を使用した3D生成のための統一されたフレームワークを確立しています。

English

In 3D modeling, designers often use an existing 3D model as a reference to create new ones. This practice has inspired the development of Phidias, a novel generative model that uses diffusion for reference-augmented 3D generation. Given an image, our method leverages a retrieved or user-provided 3D reference model to guide the generation process, thereby enhancing the generation quality, generalization ability, and controllability. Our model integrates three key components: 1) meta-ControlNet that dynamically modulates the conditioning strength, 2) dynamic reference routing that mitigates misalignment between the input image and 3D reference, and 3) self-reference augmentations that enable self-supervised training with a progressive curriculum. Collectively, these designs result in a clear improvement over existing methods. Phidias establishes a unified framework for 3D generation using text, image, and 3D conditions with versatile applications.