Consistency^2 : Peinture 3D cohérente et rapide avec les modèles de cohérence latente

Consistency^2: Consistent and Fast 3D Painting with Latent Consistency Models

June 17, 2024

Auteurs: Tianfu Wang, Anton Obukhov, Konrad Schindler

cs.AI

Résumé

La peinture générative 3D figure parmi les principaux facteurs d'amélioration de la productivité dans la gestion et le recyclage d'actifs 3D haute résolution. Depuis que les modèles de texte-à-image sont devenus accessibles pour l'inférence sur du matériel grand public, les performances des méthodes de peinture 3D n'ont cessé de s'améliorer et sont actuellement proches d'un plateau. Au cœur de la plupart de ces modèles se trouve le processus itératif de débruitage par diffusion dans l'espace latent, intrinsèquement chronophage. Plusieurs techniques ont récemment été développées pour accélérer la génération et réduire les itérations d'échantillonnage de plusieurs ordres de grandeur. Conçues pour l'imagerie générative 2D, ces techniques ne fournissent pas de méthodes pour les transposer en 3D. Dans cet article, nous comblons cette lacune en proposant une adaptation du modèle de cohérence latente (Latent Consistency Model, LCM) pour cette tâche spécifique. Nous analysons les forces et les faiblesses du modèle proposé et l'évaluons de manière quantitative et qualitative. Sur la base de l'étude des échantillons du jeu de données Objaverse, notre méthode de peinture 3D obtient une forte préférence dans toutes les évaluations. Le code source est disponible à l'adresse suivante : https://github.com/kongdai123/consistency2.

English

Generative 3D Painting is among the top productivity boosters in high-resolution 3D asset management and recycling. Ever since text-to-image models became accessible for inference on consumer hardware, the performance of 3D Painting methods has consistently improved and is currently close to plateauing. At the core of most such models lies denoising diffusion in the latent space, an inherently time-consuming iterative process. Multiple techniques have been developed recently to accelerate generation and reduce sampling iterations by orders of magnitude. Designed for 2D generative imaging, these techniques do not come with recipes for lifting them into 3D. In this paper, we address this shortcoming by proposing a Latent Consistency Model (LCM) adaptation for the task at hand. We analyze the strengths and weaknesses of the proposed model and evaluate it quantitatively and qualitatively. Based on the Objaverse dataset samples study, our 3D painting method attains strong preference in all evaluations. Source code is available at https://github.com/kongdai123/consistency2.