Sketch2Scene: 사용자의 캐주얼 스케치로부터 대화형 3D 게임 장면을 자동으로 생성하기

Sketch2Scene: Automatic Generation of Interactive 3D Game Scenes from User's Casual Sketches

August 8, 2024

저자: Yongzhi Xu, Yonhon Ng, Yifu Wang, Inkyu Sa, Yunfei Duan, Yang Li, Pan Ji, Hongdong Li

cs.AI

초록

3D 콘텐츠 생성은 비디오 게임, 영화 제작, 가상 및 증강 현실 등을 포함한 많은 컴퓨터 그래픽 애플리케이션의 핵심 요소입니다. 본 논문은 사용자의 손그림 스케치와 같은 캐주얼한 입력으로부터 상호작용 가능하고 플레이 가능한 3D 게임 씬을 자동으로 생성하기 위한 혁신적인 딥러닝 기반 접근 방식을 제안합니다. 스케치 기반 입력은 콘텐츠 생성 과정에서 사용자의 디자인 의도를 자연스럽고 편리하게 전달하는 방법을 제공합니다. 학습 중 데이터 부족의 문제(즉, 3D 씬의 대규모 훈련 데이터 부족)를 우회하기 위해 우리의 방법은 사전 훈련된 2D 노이즈 제거 확산 모델을 활용하여 시각적 안내로써 씬의 2D 이미지를 생성합니다. 이 과정에서 우리는 등각 투영 모드를 채택하여 알려지지 않은 카메라 포즈를 제거하고 씬 레이아웃을 얻습니다. 생성된 등각 이미지에서 우리는 사전 훈련된 이미지 이해 방법을 사용하여 이미지를 의미 있는 부분으로 분할하고 지상에서 떨어진 객체, 나무, 건물 등의 2D 씬 레이아웃을 추출합니다. 이러한 세그먼트와 레이아웃은 이후 절차적 콘텐츠 생성(PCG) 엔진(예: Unity 또는 Unreal과 같은 3D 비디오 게임 엔진)으로 전달되어 3D 씬을 생성합니다. 생성된 3D 씬은 게임 개발 환경에 신속하게 통합되어 즉시 플레이할 수 있습니다. 광범위한 테스트에서 우리의 방법이 사용자의 의도를 밀접하게 따르는 레이아웃을 갖춘 고품질 및 상호작용 가능한 3D 게임 씬을 효율적으로 생성할 수 있음을 입증하였습니다.

English

3D Content Generation is at the heart of many computer graphics applications, including video gaming, film-making, virtual and augmented reality, etc. This paper proposes a novel deep-learning based approach for automatically generating interactive and playable 3D game scenes, all from the user's casual prompts such as a hand-drawn sketch. Sketch-based input offers a natural, and convenient way to convey the user's design intention in the content creation process. To circumvent the data-deficient challenge in learning (i.e. the lack of large training data of 3D scenes), our method leverages a pre-trained 2D denoising diffusion model to generate a 2D image of the scene as the conceptual guidance. In this process, we adopt the isometric projection mode to factor out unknown camera poses while obtaining the scene layout. From the generated isometric image, we use a pre-trained image understanding method to segment the image into meaningful parts, such as off-ground objects, trees, and buildings, and extract the 2D scene layout. These segments and layouts are subsequently fed into a procedural content generation (PCG) engine, such as a 3D video game engine like Unity or Unreal, to create the 3D scene. The resulting 3D scene can be seamlessly integrated into a game development environment and is readily playable. Extensive tests demonstrate that our method can efficiently generate high-quality and interactive 3D game scenes with layouts that closely follow the user's intention.