DI-PCG: Диффузионно-основанная эффективная обратная процедурная генерация контента для создания трехмерных активов высокого качества

DI-PCG: Diffusion-based Efficient Inverse Procedural Content Generation for High-quality 3D Asset Creation

December 19, 2024

Авторы: Wang Zhao, Yan-Pei Cao, Jiale Xu, Yuejiang Dong, Ying Shan

cs.AI

Аннотация

Процедурное генерирование контента (PCG) является мощным средством для создания трехмерных контентов высокого качества, однако управление им для получения желаемых форм является сложным и часто требует обширной настройки параметров. Обратное процедурное генерирование контента направлено на автоматическое определение лучших параметров в условиях ввода. Однако существующие методы на основе выборки и нейронных сетей по-прежнему страдают от многочисленных итераций выборки или ограниченной управляемости. В данной работе мы представляем DI-PCG, новый и эффективный метод для обратного PCG из общих изображений. В его основе лежит легкая модель трансформера диффузии, где параметры PCG непосредственно рассматриваются как цель денойзинга, а наблюдаемые изображения - как условия для управления генерацией параметров. DI-PCG эффективен и эффективен. С всего 7,6 миллионами параметров сети и 30 часами обучения на GPU он демонстрирует превосходную производительность в точном восстановлении параметров и хорошей обобщающей способности к изображениям "на природе". Количественные и качественные результаты экспериментов подтверждают эффективность DI-PCG в задачах обратного PCG и генерации трехмерных изображений. DI-PCG предлагает многообещающий подход для эффективного обратного PCG и представляет собой ценный шаг в исследовании пути генерации трехмерных моделей, которые моделируют, как создавать трехмерный объект с использованием параметрических моделей.

English

Procedural Content Generation (PCG) is powerful in creating high-quality 3D contents, yet controlling it to produce desired shapes is difficult and often requires extensive parameter tuning. Inverse Procedural Content Generation aims to automatically find the best parameters under the input condition. However, existing sampling-based and neural network-based methods still suffer from numerous sample iterations or limited controllability. In this work, we present DI-PCG, a novel and efficient method for Inverse PCG from general image conditions. At its core is a lightweight diffusion transformer model, where PCG parameters are directly treated as the denoising target and the observed images as conditions to control parameter generation. DI-PCG is efficient and effective. With only 7.6M network parameters and 30 GPU hours to train, it demonstrates superior performance in recovering parameters accurately, and generalizing well to in-the-wild images. Quantitative and qualitative experiment results validate the effectiveness of DI-PCG in inverse PCG and image-to-3D generation tasks. DI-PCG offers a promising approach for efficient inverse PCG and represents a valuable exploration step towards a 3D generation path that models how to construct a 3D asset using parametric models.