Sketch2Scene : Génération automatique de scènes de jeu 3D interactives à partir d'esquisses informelles de l'utilisateur

Sketch2Scene: Automatic Generation of Interactive 3D Game Scenes from User's Casual Sketches

August 8, 2024

Auteurs: Yongzhi Xu, Yonhon Ng, Yifu Wang, Inkyu Sa, Yunfei Duan, Yang Li, Pan Ji, Hongdong Li

cs.AI

Résumé

La génération de contenu 3D est au cœur de nombreuses applications en infographie, notamment les jeux vidéo, la production cinématographique, la réalité virtuelle et augmentée, etc. Cet article propose une nouvelle approche basée sur l'apprentissage profond pour générer automatiquement des scènes de jeu 3D interactives et jouables, à partir de simples indications de l'utilisateur, comme un croquis dessiné à la main. L'entrée basée sur des croquis offre un moyen naturel et pratique de transmettre l'intention de conception de l'utilisateur dans le processus de création de contenu. Pour contourner le défi du manque de données dans l'apprentissage (c'est-à-dire l'absence de grandes quantités de données d'entraînement de scènes 3D), notre méthode exploite un modèle de diffusion de débruitage 2D pré-entraîné pour générer une image 2D de la scène comme guide conceptuel. Dans ce processus, nous adoptons le mode de projection isométrique pour éliminer les poses de caméra inconnues tout en obtenant la disposition de la scène. À partir de l'image isométrique générée, nous utilisons une méthode de compréhension d'image pré-entraînée pour segmenter l'image en parties significatives, telles que des objets hors sol, des arbres et des bâtiments, et extraire la disposition 2D de la scène. Ces segments et dispositions sont ensuite intégrés dans un moteur de génération de contenu procédural (PCG), comme un moteur de jeu vidéo 3D tel que Unity ou Unreal, pour créer la scène 3D. La scène 3D résultante peut être intégrée de manière transparente dans un environnement de développement de jeu et est immédiatement jouable. Des tests approfondis démontrent que notre méthode peut générer efficacement des scènes de jeu 3D interactives de haute qualité, avec des dispositions qui suivent de près l'intention de l'utilisateur.

English

3D Content Generation is at the heart of many computer graphics applications, including video gaming, film-making, virtual and augmented reality, etc. This paper proposes a novel deep-learning based approach for automatically generating interactive and playable 3D game scenes, all from the user's casual prompts such as a hand-drawn sketch. Sketch-based input offers a natural, and convenient way to convey the user's design intention in the content creation process. To circumvent the data-deficient challenge in learning (i.e. the lack of large training data of 3D scenes), our method leverages a pre-trained 2D denoising diffusion model to generate a 2D image of the scene as the conceptual guidance. In this process, we adopt the isometric projection mode to factor out unknown camera poses while obtaining the scene layout. From the generated isometric image, we use a pre-trained image understanding method to segment the image into meaningful parts, such as off-ground objects, trees, and buildings, and extract the 2D scene layout. These segments and layouts are subsequently fed into a procedural content generation (PCG) engine, such as a 3D video game engine like Unity or Unreal, to create the 3D scene. The resulting 3D scene can be seamlessly integrated into a game development environment and is readily playable. Extensive tests demonstrate that our method can efficiently generate high-quality and interactive 3D game scenes with layouts that closely follow the user's intention.