Sketch2Scene: Geração Automática de Cenários de Jogos 3D Interativos a partir de Esboços Informais do Usuário

Sketch2Scene: Automatic Generation of Interactive 3D Game Scenes from User's Casual Sketches

August 8, 2024

Autores: Yongzhi Xu, Yonhon Ng, Yifu Wang, Inkyu Sa, Yunfei Duan, Yang Li, Pan Ji, Hongdong Li

cs.AI

Resumo

A Geração de Conteúdo 3D está no cerne de muitas aplicações de computação gráfica, incluindo videogames, produção cinematográfica, realidade virtual e aumentada, etc. Este artigo propõe uma abordagem inovadora baseada em aprendizado profundo para gerar automaticamente cenas de jogo 3D interativas e jogáveis, tudo a partir de sugestões casuais do usuário, como um esboço feito à mão. A entrada baseada em esboços oferece uma forma natural e conveniente de transmitir a intenção de design do usuário no processo de criação de conteúdo. Para contornar o desafio de falta de dados no aprendizado (ou seja, a falta de grandes conjuntos de dados de treinamento de cenas 3D), nosso método aproveita um modelo de difusão de denoising 2D pré-treinado para gerar uma imagem 2D da cena como orientação conceitual. Nesse processo, adotamos o modo de projeção isométrica para eliminar poses de câmera desconhecidas ao obter o layout da cena. A partir da imagem isométrica gerada, utilizamos um método de compreensão de imagem pré-treinado para segmentar a imagem em partes significativas, como objetos fora do chão, árvores e edifícios, e extrair o layout da cena 2D. Esses segmentos e layouts são posteriormente inseridos em um mecanismo de geração de conteúdo procedural (PCG), como um mecanismo de jogo 3D como Unity ou Unreal, para criar a cena 3D. A cena 3D resultante pode ser integrada perfeitamente em um ambiente de desenvolvimento de jogos e está pronta para ser jogada. Testes extensivos demonstram que nosso método pode gerar eficientemente cenas de jogo 3D interativas e de alta qualidade com layouts que seguem de perto a intenção do usuário.

English

3D Content Generation is at the heart of many computer graphics applications, including video gaming, film-making, virtual and augmented reality, etc. This paper proposes a novel deep-learning based approach for automatically generating interactive and playable 3D game scenes, all from the user's casual prompts such as a hand-drawn sketch. Sketch-based input offers a natural, and convenient way to convey the user's design intention in the content creation process. To circumvent the data-deficient challenge in learning (i.e. the lack of large training data of 3D scenes), our method leverages a pre-trained 2D denoising diffusion model to generate a 2D image of the scene as the conceptual guidance. In this process, we adopt the isometric projection mode to factor out unknown camera poses while obtaining the scene layout. From the generated isometric image, we use a pre-trained image understanding method to segment the image into meaningful parts, such as off-ground objects, trees, and buildings, and extract the 2D scene layout. These segments and layouts are subsequently fed into a procedural content generation (PCG) engine, such as a 3D video game engine like Unity or Unreal, to create the 3D scene. The resulting 3D scene can be seamlessly integrated into a game development environment and is readily playable. Extensive tests demonstrate that our method can efficiently generate high-quality and interactive 3D game scenes with layouts that closely follow the user's intention.