Consistency^2: Pintura 3D consistente y rápida con modelos de consistencia latente

Consistency^2: Consistent and Fast 3D Painting with Latent Consistency Models

June 17, 2024

Autores: Tianfu Wang, Anton Obukhov, Konrad Schindler

cs.AI

Resumen

La Pintura Generativa 3D se encuentra entre los principales impulsores de productividad en la gestión y reciclaje de activos 3D de alta resolución. Desde que los modelos de texto a imagen se hicieron accesibles para inferencia en hardware de consumo, el rendimiento de los métodos de Pintura 3D ha mejorado constantemente y actualmente está cerca de alcanzar una meseta. En el núcleo de la mayoría de estos modelos se encuentra la difusión de eliminación de ruido en el espacio latente, un proceso iterativo inherentemente lento. Recientemente, se han desarrollado múltiples técnicas para acelerar la generación y reducir las iteraciones de muestreo en órdenes de magnitud. Diseñadas para la generación de imágenes 2D, estas técnicas no incluyen métodos para trasladarlas al ámbito 3D. En este artículo, abordamos esta limitación proponiendo una adaptación del Modelo de Consistencia Latente (LCM) para la tarea en cuestión. Analizamos las fortalezas y debilidades del modelo propuesto y lo evaluamos cuantitativa y cualitativamente. Basándonos en el estudio de muestras del conjunto de datos Objaverse, nuestro método de pintura 3D obtiene una fuerte preferencia en todas las evaluaciones. El código fuente está disponible en https://github.com/kongdai123/consistency2.

English

Generative 3D Painting is among the top productivity boosters in high-resolution 3D asset management and recycling. Ever since text-to-image models became accessible for inference on consumer hardware, the performance of 3D Painting methods has consistently improved and is currently close to plateauing. At the core of most such models lies denoising diffusion in the latent space, an inherently time-consuming iterative process. Multiple techniques have been developed recently to accelerate generation and reduce sampling iterations by orders of magnitude. Designed for 2D generative imaging, these techniques do not come with recipes for lifting them into 3D. In this paper, we address this shortcoming by proposing a Latent Consistency Model (LCM) adaptation for the task at hand. We analyze the strengths and weaknesses of the proposed model and evaluate it quantitatively and qualitatively. Based on the Objaverse dataset samples study, our 3D painting method attains strong preference in all evaluations. Source code is available at https://github.com/kongdai123/consistency2.