ATT3D: Amortisierte Text-zu-3D-Objektsynthese

ATT3D: Amortized Text-to-3D Object Synthesis

June 6, 2023

Autoren: Jonathan Lorraine, Kevin Xie, Xiaohui Zeng, Chen-Hsuan Lin, Towaki Takikawa, Nicholas Sharp, Tsung-Yi Lin, Ming-Yu Liu, Sanja Fidler, James Lucas

cs.AI

Zusammenfassung

Die Text-zu-3D-Modellierung hat durch die Kombination generativer Text-zu-Bild-Modelle mit Bild-zu-3D-Methoden wie Neural Radiance Fields spannende Fortschritte erzielt. DreamFusion hat kürzlich hochwertige Ergebnisse erzielt, erfordert jedoch eine zeitintensive, pro-Prompt-Optimierung zur Erstellung von 3D-Objekten. Um dies zu adressieren, amortisieren wir die Optimierung über Text-Prompts, indem wir ein einheitliches Modell mit vielen Prompts gleichzeitig trainieren, anstatt sie separat zu behandeln. Dadurch teilen wir die Berechnungen über eine Prompt-Menge und reduzieren die Trainingszeit im Vergleich zur pro-Prompt-Optimierung. Unser Framework – Amortized Text-to-3D (ATT3D) – ermöglicht die Wissensweitergabe zwischen Prompts, um auf unbekannte Konfigurationen zu generalisieren und fließende Interpolationen zwischen Texten für neue Assets und einfache Animationen zu ermöglichen.

English

Text-to-3D modelling has seen exciting progress by combining generative text-to-image models with image-to-3D methods like Neural Radiance Fields. DreamFusion recently achieved high-quality results but requires a lengthy, per-prompt optimization to create 3D objects. To address this, we amortize optimization over text prompts by training on many prompts simultaneously with a unified model, instead of separately. With this, we share computation across a prompt set, training in less time than per-prompt optimization. Our framework - Amortized text-to-3D (ATT3D) - enables knowledge-sharing between prompts to generalize to unseen setups and smooth interpolations between text for novel assets and simple animations.