DI-PCG: Diffusionsbasierte Effiziente Inverse Prozedurale Inhaltegenerierung für hochwertige 3D-Asset-Erstellung

DI-PCG: Diffusion-based Efficient Inverse Procedural Content Generation for High-quality 3D Asset Creation

December 19, 2024

Autoren: Wang Zhao, Yan-Pei Cao, Jiale Xu, Yuejiang Dong, Ying Shan

cs.AI

Zusammenfassung

Die prozedurale Inhaltegenerierung (PCG) ist leistungsstark bei der Erstellung hochwertiger 3D-Inhalte, aber ihre Steuerung zur Erzeugung gewünschter Formen ist schwierig und erfordert oft umfangreiche Parameterabstimmung. Die inverse prozedurale Inhaltegenerierung zielt darauf ab, automatisch die besten Parameter unter der Eingangsbedingung zu finden. Allerdings leiden bestehende samplingbasierte und neuronale Netzwerkbasierte Methoden immer noch unter zahlreichen Sample-Iterationen oder begrenzter Steuerbarkeit. In dieser Arbeit präsentieren wir DI-PCG, eine neuartige und effiziente Methode für die inverse PCG aus allgemeinen Bildbedingungen. Im Kern steht ein leichtgewichtiges Diffusions-Transformer-Modell, bei dem PCG-Parameter direkt als das Rauschunterdrückungsziel behandelt werden und die beobachteten Bilder als Bedingungen zur Steuerung der Parametergenerierung dienen. DI-PCG ist effizient und effektiv. Mit nur 7,6 Millionen Netzwerkparametern und 30 GPU-Stunden zum Training zeigt es eine überlegene Leistung bei der präzisen Wiederherstellung von Parametern und eine gute Verallgemeinerung auf Bilder in freier Wildbahn. Quantitative und qualitative Experimentergebnisse bestätigen die Wirksamkeit von DI-PCG bei inverser PCG und Bild-zu-3D-Generierungsaufgaben. DI-PCG bietet einen vielversprechenden Ansatz für eine effiziente inverse PCG und stellt einen wertvollen Erkundungsschritt auf dem Weg zur 3D-Generierung dar, der modelliert, wie man ein 3D-Asset mithilfe parametrischer Modelle erstellt.

English

Procedural Content Generation (PCG) is powerful in creating high-quality 3D contents, yet controlling it to produce desired shapes is difficult and often requires extensive parameter tuning. Inverse Procedural Content Generation aims to automatically find the best parameters under the input condition. However, existing sampling-based and neural network-based methods still suffer from numerous sample iterations or limited controllability. In this work, we present DI-PCG, a novel and efficient method for Inverse PCG from general image conditions. At its core is a lightweight diffusion transformer model, where PCG parameters are directly treated as the denoising target and the observed images as conditions to control parameter generation. DI-PCG is efficient and effective. With only 7.6M network parameters and 30 GPU hours to train, it demonstrates superior performance in recovering parameters accurately, and generalizing well to in-the-wild images. Quantitative and qualitative experiment results validate the effectiveness of DI-PCG in inverse PCG and image-to-3D generation tasks. DI-PCG offers a promising approach for efficient inverse PCG and represents a valuable exploration step towards a 3D generation path that models how to construct a 3D asset using parametric models.