Consistency^2: 潜在的一貫性モデルによる一貫性と高速性を兼ね備えた3Dペイント

Consistency^2: Consistent and Fast 3D Painting with Latent Consistency Models

June 17, 2024

著者: Tianfu Wang, Anton Obukhov, Konrad Schindler

cs.AI

要旨

生成型3Dペインティングは、高解像度3Dアセットの管理と再利用において最も生産性を向上させる技術の一つです。テキストから画像への変換モデルが消費者向けハードウェアで推論可能になって以来、3Dペインティング手法の性能は着実に向上し、現在ではほぼ頭打ちの状態に近づいています。これらのモデルの多くの中核には、潜在空間でのノイズ除去拡散があり、これは本質的に時間のかかる反復プロセスです。最近では、生成を加速し、サンプリングの反復回数を桁違いに削減するための複数の技術が開発されています。これらの技術は2D生成画像向けに設計されており、3Dに拡張するための手法は提供されていません。本論文では、この欠点を解決するために、Latent Consistency Model（LCM）をタスクに適応させることを提案します。提案モデルの強みと弱みを分析し、定量的および定性的に評価します。Objaverseデータセットのサンプルに基づく研究では、我々の3Dペインティング手法はすべての評価で強い選好を得ています。ソースコードはhttps://github.com/kongdai123/consistency2で公開されています。

English

Generative 3D Painting is among the top productivity boosters in high-resolution 3D asset management and recycling. Ever since text-to-image models became accessible for inference on consumer hardware, the performance of 3D Painting methods has consistently improved and is currently close to plateauing. At the core of most such models lies denoising diffusion in the latent space, an inherently time-consuming iterative process. Multiple techniques have been developed recently to accelerate generation and reduce sampling iterations by orders of magnitude. Designed for 2D generative imaging, these techniques do not come with recipes for lifting them into 3D. In this paper, we address this shortcoming by proposing a Latent Consistency Model (LCM) adaptation for the task at hand. We analyze the strengths and weaknesses of the proposed model and evaluate it quantitatively and qualitatively. Based on the Objaverse dataset samples study, our 3D painting method attains strong preference in all evaluations. Source code is available at https://github.com/kongdai123/consistency2.