DI-PCG: Generación de Contenido Procedimental Inversa Eficiente Basada en Difusión para la Creación de Activos 3D de Alta Calidad

DI-PCG: Diffusion-based Efficient Inverse Procedural Content Generation for High-quality 3D Asset Creation

December 19, 2024

Autores: Wang Zhao, Yan-Pei Cao, Jiale Xu, Yuejiang Dong, Ying Shan

cs.AI

Resumen

La Generación de Contenido Procedimental (PCG, por sus siglas en inglés) es poderosa para crear contenidos 3D de alta calidad, sin embargo, controlarla para producir formas deseadas es difícil y a menudo requiere una extensa sintonización de parámetros. La Generación de Contenido Procedimental Inversa tiene como objetivo encontrar automáticamente los mejores parámetros bajo una condición de entrada. Sin embargo, los métodos existentes basados en muestreo y en redes neuronales aún sufren de numerosas iteraciones de muestra o de una controlabilidad limitada. En este trabajo, presentamos DI-PCG, un método novedoso y eficiente para la PCG Inversa a partir de condiciones generales de imagen. En su núcleo se encuentra un modelo transformador de difusión liviano, donde los parámetros de PCG son tratados directamente como el objetivo de eliminación de ruido y las imágenes observadas como condiciones para controlar la generación de parámetros. DI-PCG es eficiente y efectivo. Con solo 7.6 millones de parámetros de red y 30 horas de GPU para entrenar, demuestra un rendimiento superior en la recuperación precisa de parámetros y una buena generalización a imágenes en entornos naturales. Los resultados experimentales cuantitativos y cualitativos validan la efectividad de DI-PCG en la PCG inversa y en tareas de generación de imágenes a 3D. DI-PCG ofrece un enfoque prometedor para la PCG inversa eficiente y representa un paso de exploración valioso hacia un camino de generación 3D que modele cómo construir un activo 3D utilizando modelos paramétricos.

English

Procedural Content Generation (PCG) is powerful in creating high-quality 3D contents, yet controlling it to produce desired shapes is difficult and often requires extensive parameter tuning. Inverse Procedural Content Generation aims to automatically find the best parameters under the input condition. However, existing sampling-based and neural network-based methods still suffer from numerous sample iterations or limited controllability. In this work, we present DI-PCG, a novel and efficient method for Inverse PCG from general image conditions. At its core is a lightweight diffusion transformer model, where PCG parameters are directly treated as the denoising target and the observed images as conditions to control parameter generation. DI-PCG is efficient and effective. With only 7.6M network parameters and 30 GPU hours to train, it demonstrates superior performance in recovering parameters accurately, and generalizing well to in-the-wild images. Quantitative and qualitative experiment results validate the effectiveness of DI-PCG in inverse PCG and image-to-3D generation tasks. DI-PCG offers a promising approach for efficient inverse PCG and represents a valuable exploration step towards a 3D generation path that models how to construct a 3D asset using parametric models.