ATT3D: Sintesi Amortizzata di Oggetti 3D da Testo
ATT3D: Amortized Text-to-3D Object Synthesis
June 6, 2023
Autori: Jonathan Lorraine, Kevin Xie, Xiaohui Zeng, Chen-Hsuan Lin, Towaki Takikawa, Nicholas Sharp, Tsung-Yi Lin, Ming-Yu Liu, Sanja Fidler, James Lucas
cs.AI
Abstract
La modellazione da testo a 3D ha registrato progressi entusiasmanti grazie alla combinazione di modelli generativi da testo a immagine con metodi da immagine a 3D come i Neural Radiance Fields. DreamFusion ha recentemente ottenuto risultati di alta qualità, ma richiede un'ottimizzazione lunga e specifica per ogni prompt per creare oggetti 3D. Per affrontare questo problema, ammortizziamo l'ottimizzazione sui prompt di testo addestrando su molti prompt contemporaneamente con un modello unificato, anziché separatamente. In questo modo, condividiamo il calcolo su un insieme di prompt, riducendo il tempo di addestramento rispetto all'ottimizzazione per ogni prompt. Il nostro framework - Amortized text-to-3D (ATT3D) - consente la condivisione di conoscenza tra i prompt per generalizzare a configurazioni non viste e ottenere interpolazioni fluide tra testi per nuovi asset e semplici animazioni.
English
Text-to-3D modelling has seen exciting progress by combining generative
text-to-image models with image-to-3D methods like Neural Radiance Fields.
DreamFusion recently achieved high-quality results but requires a lengthy,
per-prompt optimization to create 3D objects. To address this, we amortize
optimization over text prompts by training on many prompts simultaneously with
a unified model, instead of separately. With this, we share computation across
a prompt set, training in less time than per-prompt optimization. Our framework
- Amortized text-to-3D (ATT3D) - enables knowledge-sharing between prompts to
generalize to unseen setups and smooth interpolations between text for novel
assets and simple animations.