LATTE3D: Синтез текста в улучшенное 3D с амортизацией в масштабе.

LATTE3D: Large-scale Amortized Text-To-Enhanced3D Synthesis

March 22, 2024

Авторы: Kevin Xie, Jonathan Lorraine, Tianshi Cao, Jun Gao, James Lucas, Antonio Torralba, Sanja Fidler, Xiaohui Zeng

cs.AI

Аннотация

Недавние подходы к генерации 3D из текста производят впечатляющие результаты, но требуют трудоемкой оптимизации, занимающей до часа на один запрос. Амортизированные методы, такие как ATT3D, оптимизируют несколько запросов одновременно для улучшения эффективности, обеспечивая быструю синтез 3D из текста. Однако они не могут захватить детали геометрии и текстуры с высокой частотой и испытывают затруднения с масштабированием на большие наборы запросов, поэтому плохо обобщаются. Мы представляем LATTE3D, решающий эти ограничения для достижения быстрой, высококачественной генерации на значительно большем наборе запросов. Ключевыми элементами нашего метода являются 1) построение масштабируемой архитектуры и 2) использование 3D данных во время оптимизации через 3D-осознанные априорные распределения диффузии, регуляризацию формы и инициализацию модели для достижения устойчивости к разнообразным и сложным обучающим запросам. LATTE3D амортизирует как генерацию нейронных полей, так и текстурированной поверхности для создания высокодетализированных текстурированных сеток за один прямой проход. LATTE3D генерирует 3D объекты за 400 мс и может быть дополнительно улучшен быстрой оптимизацией на этапе тестирования.

English

Recent text-to-3D generation approaches produce impressive 3D results but require time-consuming optimization that can take up to an hour per prompt. Amortized methods like ATT3D optimize multiple prompts simultaneously to improve efficiency, enabling fast text-to-3D synthesis. However, they cannot capture high-frequency geometry and texture details and struggle to scale to large prompt sets, so they generalize poorly. We introduce LATTE3D, addressing these limitations to achieve fast, high-quality generation on a significantly larger prompt set. Key to our method is 1) building a scalable architecture and 2) leveraging 3D data during optimization through 3D-aware diffusion priors, shape regularization, and model initialization to achieve robustness to diverse and complex training prompts. LATTE3D amortizes both neural field and textured surface generation to produce highly detailed textured meshes in a single forward pass. LATTE3D generates 3D objects in 400ms, and can be further enhanced with fast test-time optimization.