Consistency^2: 잠재 일관성 모델을 활용한 일관적이고 빠른 3D 페인팅

Consistency^2: Consistent and Fast 3D Painting with Latent Consistency Models

June 17, 2024

저자: Tianfu Wang, Anton Obukhov, Konrad Schindler

cs.AI

초록

생성적 3D 페인팅은 고해상도 3D 자원 관리 및 재활용 분야에서 최고의 생산성 증대 도구 중 하나입니다. 텍스트-이미지 모델이 소비자용 하드웨어에서 추론이 가능해진 이후로, 3D 페인팅 방법의 성능은 꾸준히 향상되어 현재는 정체기에 가까워졌습니다. 대부분의 이러한 모델의 핵심에는 잠재 공간에서의 노이즈 제거 확산 과정이 있으며, 이는 본질적으로 시간이 많이 소요되는 반복적 프로세스입니다. 최근에는 생성 속도를 가속화하고 샘플링 반복 횟수를 크게 줄이기 위한 여러 기술이 개발되었습니다. 이러한 기술들은 2D 생성 이미징을 위해 설계되었으며, 이를 3D로 확장하기 위한 방법론은 제공되지 않았습니다. 본 논문에서는 이러한 단점을 해결하기 위해 현재 작업에 적합한 잠재 일관성 모델(Latent Consistency Model, LCM) 적응 방식을 제안합니다. 제안된 모델의 강점과 약점을 분석하고, 정량적 및 정성적으로 평가합니다. Objaverse 데이터셋 샘플 연구를 기반으로, 우리의 3D 페인팅 방법은 모든 평가에서 강력한 선호도를 보입니다. 소스 코드는 https://github.com/kongdai123/consistency2에서 확인할 수 있습니다.

English

Generative 3D Painting is among the top productivity boosters in high-resolution 3D asset management and recycling. Ever since text-to-image models became accessible for inference on consumer hardware, the performance of 3D Painting methods has consistently improved and is currently close to plateauing. At the core of most such models lies denoising diffusion in the latent space, an inherently time-consuming iterative process. Multiple techniques have been developed recently to accelerate generation and reduce sampling iterations by orders of magnitude. Designed for 2D generative imaging, these techniques do not come with recipes for lifting them into 3D. In this paper, we address this shortcoming by proposing a Latent Consistency Model (LCM) adaptation for the task at hand. We analyze the strengths and weaknesses of the proposed model and evaluate it quantitatively and qualitatively. Based on the Objaverse dataset samples study, our 3D painting method attains strong preference in all evaluations. Source code is available at https://github.com/kongdai123/consistency2.