LATTE3D: Síntesis Amortizada a Gran Escala de Texto a 3D Mejorado

LATTE3D: Large-scale Amortized Text-To-Enhanced3D Synthesis

March 22, 2024

Autores: Kevin Xie, Jonathan Lorraine, Tianshi Cao, Jun Gao, James Lucas, Antonio Torralba, Sanja Fidler, Xiaohui Zeng

cs.AI

Resumen

Los enfoques recientes de generación de texto a 3D producen resultados 3D impresionantes, pero requieren una optimización que consume tiempo y puede tardar hasta una hora por prompt. Métodos amortizados como ATT3D optimizan múltiples prompts simultáneamente para mejorar la eficiencia, permitiendo una síntesis rápida de texto a 3D. Sin embargo, no pueden capturar detalles de geometría y textura de alta frecuencia y tienen dificultades para escalar a grandes conjuntos de prompts, por lo que generalizan de manera deficiente. Presentamos LATTE3D, que aborda estas limitaciones para lograr una generación rápida y de alta calidad en un conjunto de prompts significativamente más grande. Clave en nuestro método es 1) construir una arquitectura escalable y 2) aprovechar datos 3D durante la optimización mediante priores de difusión 3D, regularización de formas e inicialización del modelo para lograr robustez frente a prompts de entrenamiento diversos y complejos. LATTE3D amortiza tanto la generación de campos neuronales como de superficies texturizadas para producir mallas texturizadas altamente detalladas en un único paso hacia adelante. LATTE3D genera objetos 3D en 400 ms y puede mejorarse aún más con una optimización rápida en tiempo de prueba.

English

Recent text-to-3D generation approaches produce impressive 3D results but require time-consuming optimization that can take up to an hour per prompt. Amortized methods like ATT3D optimize multiple prompts simultaneously to improve efficiency, enabling fast text-to-3D synthesis. However, they cannot capture high-frequency geometry and texture details and struggle to scale to large prompt sets, so they generalize poorly. We introduce LATTE3D, addressing these limitations to achieve fast, high-quality generation on a significantly larger prompt set. Key to our method is 1) building a scalable architecture and 2) leveraging 3D data during optimization through 3D-aware diffusion priors, shape regularization, and model initialization to achieve robustness to diverse and complex training prompts. LATTE3D amortizes both neural field and textured surface generation to produce highly detailed textured meshes in a single forward pass. LATTE3D generates 3D objects in 400ms, and can be further enhanced with fast test-time optimization.