LATTE3D : Synthèse Amortie à Grande Échelle de Texte vers des Modèles 3D Améliorés

LATTE3D: Large-scale Amortized Text-To-Enhanced3D Synthesis

March 22, 2024

Auteurs: Kevin Xie, Jonathan Lorraine, Tianshi Cao, Jun Gao, James Lucas, Antonio Torralba, Sanja Fidler, Xiaohui Zeng

cs.AI

Résumé

Les approches récentes de génération de texte-à-3D produisent des résultats 3D impressionnants, mais nécessitent une optimisation longue pouvant prendre jusqu'à une heure par requête. Les méthodes amorties comme ATT3D optimisent simultanément plusieurs requêtes pour améliorer l'efficacité, permettant une synthèse rapide de texte-à-3D. Cependant, elles ne parviennent pas à capturer les détails géométriques et texturaux à haute fréquence et peinent à s'adapter à de grands ensembles de requêtes, ce qui limite leur généralisation. Nous présentons LATTE3D, qui surmonte ces limitations pour réaliser une génération rapide et de haute qualité sur un ensemble de requêtes significativement plus large. Les clés de notre méthode sont 1) la construction d'une architecture évolutive et 2) l'exploitation de données 3D pendant l'optimisation grâce à des préalables de diffusion 3D, une régularisation de la forme et une initialisation du modèle pour assurer une robustesse face à des requêtes d'entraînement diverses et complexes. LATTE3D amortit à la fois la génération de champs neuronaux et de surfaces texturées pour produire des maillages texturés hautement détaillés en une seule passe avant. LATTE3D génère des objets 3D en 400 ms et peut être encore amélioré par une optimisation rapide au moment du test.

English

Recent text-to-3D generation approaches produce impressive 3D results but require time-consuming optimization that can take up to an hour per prompt. Amortized methods like ATT3D optimize multiple prompts simultaneously to improve efficiency, enabling fast text-to-3D synthesis. However, they cannot capture high-frequency geometry and texture details and struggle to scale to large prompt sets, so they generalize poorly. We introduce LATTE3D, addressing these limitations to achieve fast, high-quality generation on a significantly larger prompt set. Key to our method is 1) building a scalable architecture and 2) leveraging 3D data during optimization through 3D-aware diffusion priors, shape regularization, and model initialization to achieve robustness to diverse and complex training prompts. LATTE3D amortizes both neural field and textured surface generation to produce highly detailed textured meshes in a single forward pass. LATTE3D generates 3D objects in 400ms, and can be further enhanced with fast test-time optimization.