ATT3D: 償却型テキストから3Dオブジェクト合成

ATT3D: Amortized Text-to-3D Object Synthesis

June 6, 2023

著者: Jonathan Lorraine, Kevin Xie, Xiaohui Zeng, Chen-Hsuan Lin, Towaki Takikawa, Nicholas Sharp, Tsung-Yi Lin, Ming-Yu Liu, Sanja Fidler, James Lucas

cs.AI

要旨

テキストから3Dモデリングは、生成的なテキストから画像モデルとNeural Radiance Fieldsなどの画像から3Dへの手法を組み合わせることで、目覚ましい進展を遂げています。DreamFusionは最近、高品質な結果を達成しましたが、3Dオブジェクトを作成するためにプロンプトごとに長い最適化プロセスを必要とします。この問題に対処するため、我々はプロンプトごとに個別に最適化するのではなく、統一されたモデルを用いて多数のプロンプトを同時に学習することで、最適化を平準化します。これにより、プロンプトセット全体で計算を共有し、プロンプトごとの最適化よりも短い時間で学習を行います。我々のフレームワーク「Amortized text-to-3D (ATT3D)」は、プロンプト間での知識共有を可能にし、未見の設定への一般化や、テキスト間の滑らかな補間を通じて新しいアセットやシンプルなアニメーションを生成します。

English

Text-to-3D modelling has seen exciting progress by combining generative text-to-image models with image-to-3D methods like Neural Radiance Fields. DreamFusion recently achieved high-quality results but requires a lengthy, per-prompt optimization to create 3D objects. To address this, we amortize optimization over text prompts by training on many prompts simultaneously with a unified model, instead of separately. With this, we share computation across a prompt set, training in less time than per-prompt optimization. Our framework - Amortized text-to-3D (ATT3D) - enables knowledge-sharing between prompts to generalize to unseen setups and smooth interpolations between text for novel assets and simple animations.