ATT3D: Síntesis Amortizada de Texto a Objetos 3D

ATT3D: Amortized Text-to-3D Object Synthesis

June 6, 2023

Autores: Jonathan Lorraine, Kevin Xie, Xiaohui Zeng, Chen-Hsuan Lin, Towaki Takikawa, Nicholas Sharp, Tsung-Yi Lin, Ming-Yu Liu, Sanja Fidler, James Lucas

cs.AI

Resumen

El modelado de texto a 3D ha experimentado avances emocionantes al combinar modelos generativos de texto a imagen con métodos de imagen a 3D como los Campos de Radiancia Neural. DreamFusion logró recientemente resultados de alta calidad, pero requiere una optimización prolongada por cada indicación (prompt) para crear objetos 3D. Para abordar esto, amortiguamos la optimización sobre las indicaciones de texto entrenando con muchas indicaciones simultáneamente utilizando un modelo unificado, en lugar de hacerlo por separado. Con este enfoque, compartimos el cálculo a través de un conjunto de indicaciones, entrenando en menos tiempo que la optimización por indicación. Nuestro marco, denominado Amortized Text-to-3D (ATT3D), permite el intercambio de conocimiento entre indicaciones para generalizar a configuraciones no vistas y realizar interpolaciones suaves entre textos para crear nuevos activos y animaciones simples.

English

Text-to-3D modelling has seen exciting progress by combining generative text-to-image models with image-to-3D methods like Neural Radiance Fields. DreamFusion recently achieved high-quality results but requires a lengthy, per-prompt optimization to create 3D objects. To address this, we amortize optimization over text prompts by training on many prompts simultaneously with a unified model, instead of separately. With this, we share computation across a prompt set, training in less time than per-prompt optimization. Our framework - Amortized text-to-3D (ATT3D) - enables knowledge-sharing between prompts to generalize to unseen setups and smooth interpolations between text for novel assets and simple animations.