ATT3D: Geamortiseerde tekst-naar-3D-objectsynthese

ATT3D: Amortized Text-to-3D Object Synthesis

June 6, 2023

Auteurs: Jonathan Lorraine, Kevin Xie, Xiaohui Zeng, Chen-Hsuan Lin, Towaki Takikawa, Nicholas Sharp, Tsung-Yi Lin, Ming-Yu Liu, Sanja Fidler, James Lucas

cs.AI

Samenvatting

Text-naar-3D-modellering heeft opwindende vooruitgang geboekt door generatieve text-naar-beeldmodellen te combineren met beeld-naar-3D-methoden zoals Neural Radiance Fields. DreamFusion heeft recentelijk hoogwaardige resultaten behaald, maar vereist een tijdrovende, per-prompt optimalisatie om 3D-objecten te creëren. Om dit aan te pakken, amortiseren we de optimalisatie over tekstprompts door te trainen op veel prompts tegelijkertijd met een uniform model, in plaats van afzonderlijk. Hiermee delen we de berekening over een set prompts, waardoor de training minder tijd kost dan per-prompt optimalisatie. Ons framework - Amortized Text-to-3D (ATT3D) - maakt kennisuitwisseling tussen prompts mogelijk om te generaliseren naar onbekende opstellingen en soepele interpolaties tussen tekst voor nieuwe assets en eenvoudige animaties.

English

Text-to-3D modelling has seen exciting progress by combining generative text-to-image models with image-to-3D methods like Neural Radiance Fields. DreamFusion recently achieved high-quality results but requires a lengthy, per-prompt optimization to create 3D objects. To address this, we amortize optimization over text prompts by training on many prompts simultaneously with a unified model, instead of separately. With this, we share computation across a prompt set, training in less time than per-prompt optimization. Our framework - Amortized text-to-3D (ATT3D) - enables knowledge-sharing between prompts to generalize to unseen setups and smooth interpolations between text for novel assets and simple animations.