Sketch2Scene: Automatische Generatie van Interactieve 3D-Spelscènes vanuit Gebruikersschetsen

Sketch2Scene: Automatic Generation of Interactive 3D Game Scenes from User's Casual Sketches

August 8, 2024

Auteurs: Yongzhi Xu, Yonhon Ng, Yifu Wang, Inkyu Sa, Yunfei Duan, Yang Li, Pan Ji, Hongdong Li

cs.AI

Samenvatting

3D-contentgeneratie staat centraal in veel computergrafische toepassingen, zoals videogames, filmproductie, virtuele en augmented reality, enz. Dit artikel introduceert een nieuwe, op deep learning gebaseerde aanpak voor het automatisch genereren van interactieve en speelbare 3D-gamescènes, uitsluitend vanuit de informele input van de gebruiker, zoals een handgetekende schets. Schetsgebaseerde input biedt een natuurlijke en handige manier om de ontwerpintentie van de gebruiker over te brengen tijdens het creatieproces. Om het probleem van datatekort in het leerproces te omzeilen (d.w.z. het ontbreken van grote trainingsdatasets van 3D-scènes), maakt onze methode gebruik van een vooraf getraind 2D-denoising-diffusiemodel om een 2D-afbeelding van de scène te genereren als conceptuele richtlijn. In dit proces passen we de isometrische projectiemodus toe om onbekende cameraposities uit te sluiten terwijl de scène-indeling wordt verkregen. Vanuit de gegenereerde isometrische afbeelding gebruiken we een vooraf getrainde beeldbegripsmethode om de afbeelding te segmenteren in betekenisvolle onderdelen, zoals objecten boven de grond, bomen en gebouwen, en om de 2D-scène-indeling te extraheren. Deze segmenten en indelingen worden vervolgens ingevoerd in een procedural content generation (PCG)-engine, zoals een 3D-videogame-engine zoals Unity of Unreal, om de 3D-scène te creëren. De resulterende 3D-scène kan naadloos worden geïntegreerd in een game-ontwikkelomgeving en is direct speelbaar. Uitgebreide tests tonen aan dat onze methode efficiënt hoogwaardige en interactieve 3D-gamescènes kan genereren met indelingen die nauw aansluiten bij de intentie van de gebruiker.

English

3D Content Generation is at the heart of many computer graphics applications, including video gaming, film-making, virtual and augmented reality, etc. This paper proposes a novel deep-learning based approach for automatically generating interactive and playable 3D game scenes, all from the user's casual prompts such as a hand-drawn sketch. Sketch-based input offers a natural, and convenient way to convey the user's design intention in the content creation process. To circumvent the data-deficient challenge in learning (i.e. the lack of large training data of 3D scenes), our method leverages a pre-trained 2D denoising diffusion model to generate a 2D image of the scene as the conceptual guidance. In this process, we adopt the isometric projection mode to factor out unknown camera poses while obtaining the scene layout. From the generated isometric image, we use a pre-trained image understanding method to segment the image into meaningful parts, such as off-ground objects, trees, and buildings, and extract the 2D scene layout. These segments and layouts are subsequently fed into a procedural content generation (PCG) engine, such as a 3D video game engine like Unity or Unreal, to create the 3D scene. The resulting 3D scene can be seamlessly integrated into a game development environment and is readily playable. Extensive tests demonstrate that our method can efficiently generate high-quality and interactive 3D game scenes with layouts that closely follow the user's intention.