ATT3D : Synthèse amortie d'objets 3D à partir de texte

ATT3D: Amortized Text-to-3D Object Synthesis

June 6, 2023

Auteurs: Jonathan Lorraine, Kevin Xie, Xiaohui Zeng, Chen-Hsuan Lin, Towaki Takikawa, Nicholas Sharp, Tsung-Yi Lin, Ming-Yu Liu, Sanja Fidler, James Lucas

cs.AI

Résumé

La modélisation texte-3D a connu des avancées passionnantes en combinant des modèles génératifs texte-image avec des méthodes image-3D comme les champs de radiance neuronaux (NeRF). DreamFusion a récemment obtenu des résultats de haute qualité, mais nécessite une optimisation longue et spécifique à chaque prompt pour créer des objets 3D. Pour résoudre ce problème, nous amortissons l'optimisation sur les prompts textuels en entraînant sur de nombreux prompts simultanément avec un modèle unifié, plutôt que séparément. Ainsi, nous partageons les calculs sur un ensemble de prompts, réduisant le temps d'entraînement par rapport à une optimisation par prompt. Notre cadre - Amortized text-to-3D (ATT3D) - permet le partage de connaissances entre les prompts pour généraliser à des configurations non vues et réaliser des interpolations fluides entre les textes, créant ainsi de nouveaux assets et des animations simples.

English

Text-to-3D modelling has seen exciting progress by combining generative text-to-image models with image-to-3D methods like Neural Radiance Fields. DreamFusion recently achieved high-quality results but requires a lengthy, per-prompt optimization to create 3D objects. To address this, we amortize optimization over text prompts by training on many prompts simultaneously with a unified model, instead of separately. With this, we share computation across a prompt set, training in less time than per-prompt optimization. Our framework - Amortized text-to-3D (ATT3D) - enables knowledge-sharing between prompts to generalize to unseen setups and smooth interpolations between text for novel assets and simple animations.