Consistency^2: Pittura 3D Consistente e Veloce con Modelli di Consistenza Latente
Consistency^2: Consistent and Fast 3D Painting with Latent Consistency Models
June 17, 2024
Autori: Tianfu Wang, Anton Obukhov, Konrad Schindler
cs.AI
Abstract
La pittura generativa 3D è tra i principali fattori di aumento della produttività nella gestione e nel riciclo di asset 3D ad alta risoluzione. Da quando i modelli testo-immagine sono diventati accessibili per l'inferenza su hardware consumer, le prestazioni dei metodi di pittura 3D sono migliorate costantemente e attualmente si avvicinano a un plateau. Al centro della maggior parte di questi modelli si trova il processo iterativo di denoising diffusion nello spazio latente, intrinsecamente dispendioso in termini di tempo. Recentemente sono state sviluppate diverse tecniche per accelerare la generazione e ridurre le iterazioni di campionamento di ordini di grandezza. Progettate per l'imaging generativo 2D, queste tecniche non includono indicazioni per estenderle al 3D. In questo articolo, affrontiamo questa lacuna proponendo un adattamento del Latent Consistency Model (LCM) per il compito in questione. Analizziamo i punti di forza e le debolezze del modello proposto e lo valutiamo quantitativamente e qualitativamente. Sulla base dello studio dei campioni del dataset Objaverse, il nostro metodo di pittura 3D ottiene un forte consenso in tutte le valutazioni. Il codice sorgente è disponibile all'indirizzo https://github.com/kongdai123/consistency2.
English
Generative 3D Painting is among the top productivity boosters in
high-resolution 3D asset management and recycling. Ever since text-to-image
models became accessible for inference on consumer hardware, the performance of
3D Painting methods has consistently improved and is currently close to
plateauing. At the core of most such models lies denoising diffusion in the
latent space, an inherently time-consuming iterative process. Multiple
techniques have been developed recently to accelerate generation and reduce
sampling iterations by orders of magnitude. Designed for 2D generative imaging,
these techniques do not come with recipes for lifting them into 3D. In this
paper, we address this shortcoming by proposing a Latent Consistency Model
(LCM) adaptation for the task at hand. We analyze the strengths and weaknesses
of the proposed model and evaluate it quantitatively and qualitatively. Based
on the Objaverse dataset samples study, our 3D painting method attains strong
preference in all evaluations. Source code is available at
https://github.com/kongdai123/consistency2.