Согласованность^2: Согласованная и быстрая 3D-раскраска с латентными моделями согласованности

Consistency^2: Consistent and Fast 3D Painting with Latent Consistency Models

June 17, 2024

Авторы: Tianfu Wang, Anton Obukhov, Konrad Schindler

cs.AI

Аннотация

Генеративная 3D-живопись является одним из ведущих средств повышения производительности в управлении трехмерными ресурсами высокого разрешения и их переработке. С тех пор как модели текст-в-изображение стали доступны для вывода на потребительском оборудовании, производительность методов 3D-живописи последовательно улучшалась и в настоящее время приближается к плато. В основе большинства таких моделей лежит диффузия шума в латентном пространстве, что является по своей природе затратным по времени итеративным процессом. Недавно было разработано несколько техник для ускорения генерации и сокращения итераций выборки на порядки величины. Разработанные для генерации изображений в 2D, эти техники не поставляются с инструкциями по их применению в 3D. В данной статье мы устраняем этот недостаток, предлагая адаптацию модели Согласованности Латентного Пространства (LCM) для данной задачи. Мы анализируем сильные и слабые стороны предложенной модели и оцениваем ее количественно и качественно. Основываясь на анализе образцов набора данных Objaverse, наш метод 3D-живописи демонстрирует сильное преимущество во всех оценках. Исходный код доступен по адресу https://github.com/kongdai123/consistency2.

English

Generative 3D Painting is among the top productivity boosters in high-resolution 3D asset management and recycling. Ever since text-to-image models became accessible for inference on consumer hardware, the performance of 3D Painting methods has consistently improved and is currently close to plateauing. At the core of most such models lies denoising diffusion in the latent space, an inherently time-consuming iterative process. Multiple techniques have been developed recently to accelerate generation and reduce sampling iterations by orders of magnitude. Designed for 2D generative imaging, these techniques do not come with recipes for lifting them into 3D. In this paper, we address this shortcoming by proposing a Latent Consistency Model (LCM) adaptation for the task at hand. We analyze the strengths and weaknesses of the proposed model and evaluate it quantitatively and qualitatively. Based on the Objaverse dataset samples study, our 3D painting method attains strong preference in all evaluations. Source code is available at https://github.com/kongdai123/consistency2.