DI-PCG : Génération de Contenu Procédural Inverse Efficace basée sur la Diffusion pour la Création d'Actifs 3D de Haute Qualité

DI-PCG: Diffusion-based Efficient Inverse Procedural Content Generation for High-quality 3D Asset Creation

December 19, 2024

Auteurs: Wang Zhao, Yan-Pei Cao, Jiale Xu, Yuejiang Dong, Ying Shan

cs.AI

Résumé

La Génération de Contenu Procédural (GCP) est puissante pour créer des contenus 3D de haute qualité, mais la contrôler pour produire des formes désirées est difficile et nécessite souvent un réglage intensif des paramètres. La Génération de Contenu Procédural Inverse vise à trouver automatiquement les meilleurs paramètres en fonction de la condition d'entrée. Cependant, les méthodes existantes basées sur l'échantillonnage et les réseaux neuronaux souffrent encore de nombreuses itérations d'échantillonnage ou d'une contrôlabilité limitée. Dans ce travail, nous présentons DI-GCP, une méthode novatrice et efficace pour la GCP Inverse à partir de conditions d'image générales. À son cœur se trouve un modèle de transformateur de diffusion léger, où les paramètres de GCP sont directement traités comme la cible de débruitage et les images observées comme des conditions pour contrôler la génération de paramètres. DI-GCP est efficace et performant. Avec seulement 7,6 millions de paramètres de réseau et 30 heures de GPU pour l'entraînement, il démontre des performances supérieures dans la récupération précise des paramètres et une bonne généralisation aux images réelles. Les résultats d'expériences quantitatives et qualitatives valident l'efficacité de DI-GCP dans les tâches de GCP inverse et de génération d'images en 3D. DI-GCP offre une approche prometteuse pour la GCP inverse efficace et représente une étape d'exploration précieuse vers un chemin de génération 3D qui modélise comment construire un actif 3D en utilisant des modèles paramétriques.

English

Procedural Content Generation (PCG) is powerful in creating high-quality 3D contents, yet controlling it to produce desired shapes is difficult and often requires extensive parameter tuning. Inverse Procedural Content Generation aims to automatically find the best parameters under the input condition. However, existing sampling-based and neural network-based methods still suffer from numerous sample iterations or limited controllability. In this work, we present DI-PCG, a novel and efficient method for Inverse PCG from general image conditions. At its core is a lightweight diffusion transformer model, where PCG parameters are directly treated as the denoising target and the observed images as conditions to control parameter generation. DI-PCG is efficient and effective. With only 7.6M network parameters and 30 GPU hours to train, it demonstrates superior performance in recovering parameters accurately, and generalizing well to in-the-wild images. Quantitative and qualitative experiment results validate the effectiveness of DI-PCG in inverse PCG and image-to-3D generation tasks. DI-PCG offers a promising approach for efficient inverse PCG and represents a valuable exploration step towards a 3D generation path that models how to construct a 3D asset using parametric models.