LATTE3D: Síntese Amortizada em Grande Escala de Texto para 3D Aprimorado

LATTE3D: Large-scale Amortized Text-To-Enhanced3D Synthesis

March 22, 2024

Autores: Kevin Xie, Jonathan Lorraine, Tianshi Cao, Jun Gao, James Lucas, Antonio Torralba, Sanja Fidler, Xiaohui Zeng

cs.AI

Resumo

Abordagens recentes de geração de texto para 3D produzem resultados 3D impressionantes, mas exigem uma otimização demorada que pode levar até uma hora por prompt. Métodos amortizados como o ATT3D otimizam múltiplos prompts simultaneamente para melhorar a eficiência, permitindo uma síntese rápida de texto para 3D. No entanto, eles não conseguem capturar detalhes geométricos e texturais de alta frequência e têm dificuldade em escalar para grandes conjuntos de prompts, o que resulta em uma generalização ruim. Apresentamos o LATTE3D, que aborda essas limitações para alcançar uma geração rápida e de alta qualidade em um conjunto de prompts significativamente maior. A chave do nosso método é 1) construir uma arquitetura escalável e 2) aproveitar dados 3D durante a otimização por meio de priors de difusão 3D-aware, regularização de forma e inicialização de modelo para alcançar robustez frente a prompts de treinamento diversos e complexos. O LATTE3D amortiza tanto a geração de campos neurais quanto de superfícies texturizadas para produzir malhas texturizadas altamente detalhadas em uma única passagem direta. O LATTE3D gera objetos 3D em 400ms e pode ser aprimorado com uma otimização rápida em tempo de teste.

English

Recent text-to-3D generation approaches produce impressive 3D results but require time-consuming optimization that can take up to an hour per prompt. Amortized methods like ATT3D optimize multiple prompts simultaneously to improve efficiency, enabling fast text-to-3D synthesis. However, they cannot capture high-frequency geometry and texture details and struggle to scale to large prompt sets, so they generalize poorly. We introduce LATTE3D, addressing these limitations to achieve fast, high-quality generation on a significantly larger prompt set. Key to our method is 1) building a scalable architecture and 2) leveraging 3D data during optimization through 3D-aware diffusion priors, shape regularization, and model initialization to achieve robustness to diverse and complex training prompts. LATTE3D amortizes both neural field and textured surface generation to produce highly detailed textured meshes in a single forward pass. LATTE3D generates 3D objects in 400ms, and can be further enhanced with fast test-time optimization.