Consistency^2: Pintura 3D Consistente e Rápida com Modelos de Consistência Latente

Consistency^2: Consistent and Fast 3D Painting with Latent Consistency Models

June 17, 2024

Autores: Tianfu Wang, Anton Obukhov, Konrad Schindler

cs.AI

Resumo

A Pintura Generativa 3D está entre os principais impulsionadores de produtividade no gerenciamento e reciclagem de ativos 3D de alta resolução. Desde que os modelos de texto para imagem se tornaram acessíveis para inferência em hardware de consumo, o desempenho dos métodos de Pintura 3D tem melhorado consistentemente e está atualmente próximo de atingir um platô. No cerne da maioria desses modelos está a difusão de ruído no espaço latente, um processo iterativo inerentemente demorado. Várias técnicas foram desenvolvidas recentemente para acelerar a geração e reduzir as iterações de amostragem em ordens de magnitude. Projetadas para imagens generativas 2D, essas técnicas não vêm com receitas para elevá-las ao 3D. Neste artigo, abordamos essa lacuna propondo uma adaptação do Modelo de Consistência Latente (LCM) para a tarefa em questão. Analisamos os pontos fortes e fracos do modelo proposto e o avaliamos quantitativa e qualitativamente. Com base no estudo de amostras do conjunto de dados Objaverse, nosso método de pintura 3D obtém forte preferência em todas as avaliações. O código-fonte está disponível em https://github.com/kongdai123/consistency2.

English

Generative 3D Painting is among the top productivity boosters in high-resolution 3D asset management and recycling. Ever since text-to-image models became accessible for inference on consumer hardware, the performance of 3D Painting methods has consistently improved and is currently close to plateauing. At the core of most such models lies denoising diffusion in the latent space, an inherently time-consuming iterative process. Multiple techniques have been developed recently to accelerate generation and reduce sampling iterations by orders of magnitude. Designed for 2D generative imaging, these techniques do not come with recipes for lifting them into 3D. In this paper, we address this shortcoming by proposing a Latent Consistency Model (LCM) adaptation for the task at hand. We analyze the strengths and weaknesses of the proposed model and evaluate it quantitatively and qualitatively. Based on the Objaverse dataset samples study, our 3D painting method attains strong preference in all evaluations. Source code is available at https://github.com/kongdai123/consistency2.