Sketch2Scene: Automatische Generierung interaktiver 3D-Spielszenen aus den locker gezeichneten Skizzen des Benutzers

Sketch2Scene: Automatic Generation of Interactive 3D Game Scenes from User's Casual Sketches

August 8, 2024

Autoren: Yongzhi Xu, Yonhon Ng, Yifu Wang, Inkyu Sa, Yunfei Duan, Yang Li, Pan Ji, Hongdong Li

cs.AI

Zusammenfassung

Die Generierung von 3D-Inhalten steht im Mittelpunkt vieler Computergrafikanwendungen, einschließlich Videospielen, Filmproduktion, virtueller und erweiterter Realität usw. In diesem Paper wird ein neuartiger Deep-Learning-Ansatz vorgeschlagen, um interaktive und spielbare 3D-Spielszenen automatisch zu generieren, alles basierend auf den lockeren Vorgaben des Benutzers wie beispielsweise einer handgezeichneten Skizze. Die skizzenbasierte Eingabe bietet einen natürlichen und bequemen Weg, um die Designabsicht des Benutzers im Inhalteerstellungsprozess zu vermitteln. Um die datenarme Herausforderung im Lernen zu umgehen (d. h. den Mangel an großen Trainingsdaten von 3D-Szenen), nutzt unsere Methode ein vortrainiertes 2D-Denoising-Diffusionsmodell, um ein 2D-Bild der Szene als konzeptionelle Richtlinie zu generieren. In diesem Prozess übernehmen wir den isometrischen Projektionsmodus, um unbekannte Kamerapositionen auszuschließen und gleichzeitig das Szenenlayout zu erhalten. Aus dem generierten isometrischen Bild verwenden wir eine vortrainierte Bildverstehensmethode, um das Bild in sinnvolle Teile wie Objekte über dem Boden, Bäume und Gebäude zu segmentieren und das 2D-Szenenlayout zu extrahieren. Diese Segmente und Layouts werden anschließend in einen prozeduralen Inhaltegenerierungs-Engine (PCG) eingespeist, wie beispielsweise eine 3D-Videospiel-Engine wie Unity oder Unreal, um die 3D-Szene zu erstellen. Die resultierende 3D-Szene kann nahtlos in eine Spielentwicklungsumgebung integriert werden und ist sofort spielbar. Umfangreiche Tests zeigen, dass unsere Methode effizient hochwertige und interaktive 3D-Spielszenen generieren kann, deren Layouts eng der Absicht des Benutzers folgen.

English

3D Content Generation is at the heart of many computer graphics applications, including video gaming, film-making, virtual and augmented reality, etc. This paper proposes a novel deep-learning based approach for automatically generating interactive and playable 3D game scenes, all from the user's casual prompts such as a hand-drawn sketch. Sketch-based input offers a natural, and convenient way to convey the user's design intention in the content creation process. To circumvent the data-deficient challenge in learning (i.e. the lack of large training data of 3D scenes), our method leverages a pre-trained 2D denoising diffusion model to generate a 2D image of the scene as the conceptual guidance. In this process, we adopt the isometric projection mode to factor out unknown camera poses while obtaining the scene layout. From the generated isometric image, we use a pre-trained image understanding method to segment the image into meaningful parts, such as off-ground objects, trees, and buildings, and extract the 2D scene layout. These segments and layouts are subsequently fed into a procedural content generation (PCG) engine, such as a 3D video game engine like Unity or Unreal, to create the 3D scene. The resulting 3D scene can be seamlessly integrated into a game development environment and is readily playable. Extensive tests demonstrate that our method can efficiently generate high-quality and interactive 3D game scenes with layouts that closely follow the user's intention.