LATTE3D: Groß angelegte amortisierte Text-zu-Verbessert3D-Synthese

LATTE3D: Large-scale Amortized Text-To-Enhanced3D Synthesis

March 22, 2024

Autoren: Kevin Xie, Jonathan Lorraine, Tianshi Cao, Jun Gao, James Lucas, Antonio Torralba, Sanja Fidler, Xiaohui Zeng

cs.AI

Zusammenfassung

Aktuelle Ansätze zur Text-zu-3D-Generierung liefern beeindruckende 3D-Ergebnisse, erfordern jedoch zeitaufwändige Optimierungen, die bis zu einer Stunde pro Eingabe benötigen können. Amortisierte Methoden wie ATT3D optimieren mehrere Eingaben gleichzeitig, um die Effizienz zu steigern und eine schnelle Text-zu-3D-Synthese zu ermöglichen. Allerdings können sie keine hochfrequenten Geometrie- und Texturdetails erfassen und haben Schwierigkeiten, auf große Eingabemengen zu skalieren, wodurch sie schlecht generalisieren. Wir stellen LATTE3D vor, das diese Einschränkungen angeht, um eine schnelle, hochwertige Generierung auf einem deutlich größeren Eingabesatz zu erreichen. Schlüssel unseres Verfahrens ist 1) der Aufbau einer skalierbaren Architektur und 2) die Nutzung von 3D-Daten während der Optimierung durch 3D-bewusste Diffusionspriors, Formregulierung und Modellinitialisierung, um Robustheit gegenüber vielfältigen und komplexen Trainingsvorgaben zu erreichen. LATTE3D amortisiert sowohl neuronale Feld- als auch texturierte Oberflächengenerierung, um hochdetaillierte texturierte Netze in einem einzigen Durchlauf zu erzeugen. LATTE3D generiert 3D-Objekte in 400ms und kann durch schnelle Optimierung zur Testzeit weiter verbessert werden.

English

Recent text-to-3D generation approaches produce impressive 3D results but require time-consuming optimization that can take up to an hour per prompt. Amortized methods like ATT3D optimize multiple prompts simultaneously to improve efficiency, enabling fast text-to-3D synthesis. However, they cannot capture high-frequency geometry and texture details and struggle to scale to large prompt sets, so they generalize poorly. We introduce LATTE3D, addressing these limitations to achieve fast, high-quality generation on a significantly larger prompt set. Key to our method is 1) building a scalable architecture and 2) leveraging 3D data during optimization through 3D-aware diffusion priors, shape regularization, and model initialization to achieve robustness to diverse and complex training prompts. LATTE3D amortizes both neural field and textured surface generation to produce highly detailed textured meshes in a single forward pass. LATTE3D generates 3D objects in 400ms, and can be further enhanced with fast test-time optimization.