Konsistenz^2: Konsistentes und schnelles 3D-Malen mit latenten Konsistenzmodellen

Consistency^2: Consistent and Fast 3D Painting with Latent Consistency Models

June 17, 2024

Autoren: Tianfu Wang, Anton Obukhov, Konrad Schindler

cs.AI

Zusammenfassung

Die generative 3D-Malerei zählt zu den wichtigsten Produktivitätssteigerern im Management und Recycling von hochauflösenden 3D-Ressourcen. Seit Text-zu-Bild-Modelle für die Inferenz auf Verbraucherhardware zugänglich wurden, hat sich die Leistung von 3D-Malmethoden kontinuierlich verbessert und nähert sich derzeit einem Plateau. Im Kern der meisten solcher Modelle liegt die Rauschunterdrückungsdiffusion im latenten Raum, ein inhärent zeitaufwändiger iterativer Prozess. In jüngster Zeit wurden mehrere Techniken entwickelt, um die Generierung zu beschleunigen und die Sampling-Iterationen um Größenordnungen zu reduzieren. Diese Techniken, die für die generative Bildgebung in 2D konzipiert sind, werden jedoch nicht mit Anleitungen geliefert, wie sie in den 3D-Bereich übertragen werden können. In diesem Paper beheben wir diese Schwäche, indem wir eine Anpassung des Latent Consistency Models (LCM) für die vorliegende Aufgabe vorschlagen. Wir analysieren die Stärken und Schwächen des vorgeschlagenen Modells und bewerten es quantitativ und qualitativ. Basierend auf der Studie von Beispielen des Objaverse-Datensatzes erzielt unsere 3D-Maltechnik in allen Bewertungen eine starke Präferenz. Der Quellcode ist verfügbar unter https://github.com/kongdai123/consistency2.

English

Generative 3D Painting is among the top productivity boosters in high-resolution 3D asset management and recycling. Ever since text-to-image models became accessible for inference on consumer hardware, the performance of 3D Painting methods has consistently improved and is currently close to plateauing. At the core of most such models lies denoising diffusion in the latent space, an inherently time-consuming iterative process. Multiple techniques have been developed recently to accelerate generation and reduce sampling iterations by orders of magnitude. Designed for 2D generative imaging, these techniques do not come with recipes for lifting them into 3D. In this paper, we address this shortcoming by proposing a Latent Consistency Model (LCM) adaptation for the task at hand. We analyze the strengths and weaknesses of the proposed model and evaluate it quantitatively and qualitatively. Based on the Objaverse dataset samples study, our 3D painting method attains strong preference in all evaluations. Source code is available at https://github.com/kongdai123/consistency2.