DI-PCG: Diffusiegebaseerde Efficiënte Omgekeerde Procedurele Inhoudsgeneratie voor het Creëren van Hoogwaardige 3D-middelen

DI-PCG: Diffusion-based Efficient Inverse Procedural Content Generation for High-quality 3D Asset Creation

December 19, 2024

Auteurs: Wang Zhao, Yan-Pei Cao, Jiale Xu, Yuejiang Dong, Ying Shan

cs.AI

Samenvatting

Procedural Content Generation (PCG) is krachtig in het creëren van hoogwaardige 3D-inhoud, maar het controleren ervan om gewenste vormen te produceren is moeilijk en vereist vaak uitgebreide afstemming van parameters. Inverse Procedural Content Generation heeft als doel automatisch de beste parameters te vinden onder de invoerconditie. Echter, bestaande op sampling gebaseerde en op neurale netwerken gebaseerde methoden lijden nog steeds onder talrijke voorbeelditeraties of beperkte controleerbaarheid. In dit werk presenteren we DI-PCG, een nieuw en efficiënte methode voor Inverse PCG vanuit algemene beeldcondities. In de kern bevindt zich een lichtgewicht diffusie transformer model, waarbij PCG parameters direct worden behandeld als het denoising doelwit en de waargenomen beelden als condities om de parametergeneratie te controleren. DI-PCG is efficiënt en effectief. Met slechts 7,6M netwerkparameters en 30 GPU-uren om te trainen, toont het superieure prestaties in het nauwkeurig herstellen van parameters en goed generaliseren naar beelden in het wild. Kwantitatieve en kwalitatieve experimentresultaten bevestigen de effectiviteit van DI-PCG in inverse PCG en beeld-naar-3D generatietaken. DI-PCG biedt een veelbelovende benadering voor efficiënte inverse PCG en vertegenwoordigt een waardevolle verkenningstap naar een 3D-generatiepad dat modellen om een 3D-middel te construeren met behulp van parametrische modellen.

English

Procedural Content Generation (PCG) is powerful in creating high-quality 3D contents, yet controlling it to produce desired shapes is difficult and often requires extensive parameter tuning. Inverse Procedural Content Generation aims to automatically find the best parameters under the input condition. However, existing sampling-based and neural network-based methods still suffer from numerous sample iterations or limited controllability. In this work, we present DI-PCG, a novel and efficient method for Inverse PCG from general image conditions. At its core is a lightweight diffusion transformer model, where PCG parameters are directly treated as the denoising target and the observed images as conditions to control parameter generation. DI-PCG is efficient and effective. With only 7.6M network parameters and 30 GPU hours to train, it demonstrates superior performance in recovering parameters accurately, and generalizing well to in-the-wild images. Quantitative and qualitative experiment results validate the effectiveness of DI-PCG in inverse PCG and image-to-3D generation tasks. DI-PCG offers a promising approach for efficient inverse PCG and represents a valuable exploration step towards a 3D generation path that models how to construct a 3D asset using parametric models.