Consistency^2: Consistente en Snelle 3D-schildering met Latente Consistentie Modellen

Consistency^2: Consistent and Fast 3D Painting with Latent Consistency Models

June 17, 2024

Auteurs: Tianfu Wang, Anton Obukhov, Konrad Schindler

cs.AI

Samenvatting

Generatieve 3D-schilderkunst behoort tot de belangrijkste productiviteitsboosters in het beheer en de recycling van hoogwaardige 3D-assets. Sinds tekst-naar-beeldmodellen toegankelijk werden voor inferentie op consumentenhardware, is de prestaties van 3D-schildermethoden gestaag verbeterd en nadert deze momenteel een plateau. In de kern van de meeste van dergelijke modellen ligt denoising diffusie in de latente ruimte, een inherent tijdrovend iteratief proces. Recentelijk zijn er meerdere technieken ontwikkeld om de generatie te versnellen en het aantal sampling-iteraties met ordes van grootte te verminderen. Deze technieken, ontworpen voor 2D-generatieve beeldvorming, worden niet geleverd met recepten om ze naar 3D te tillen. In dit artikel pakken we dit tekort aan door een Latent Consistency Model (LCM) aanpassing voor te stellen voor de betreffende taak. We analyseren de sterke en zwakke punten van het voorgestelde model en evalueren het zowel kwantitatief als kwalitatief. Op basis van de studie van Objaverse-datasetmonsters behaalt onze 3D-schildermethode een sterke voorkeur in alle evaluaties. De broncode is beschikbaar op https://github.com/kongdai123/consistency2.

English

Generative 3D Painting is among the top productivity boosters in high-resolution 3D asset management and recycling. Ever since text-to-image models became accessible for inference on consumer hardware, the performance of 3D Painting methods has consistently improved and is currently close to plateauing. At the core of most such models lies denoising diffusion in the latent space, an inherently time-consuming iterative process. Multiple techniques have been developed recently to accelerate generation and reduce sampling iterations by orders of magnitude. Designed for 2D generative imaging, these techniques do not come with recipes for lifting them into 3D. In this paper, we address this shortcoming by proposing a Latent Consistency Model (LCM) adaptation for the task at hand. We analyze the strengths and weaknesses of the proposed model and evaluate it quantitatively and qualitatively. Based on the Objaverse dataset samples study, our 3D painting method attains strong preference in all evaluations. Source code is available at https://github.com/kongdai123/consistency2.