Sketch2Scene: ユーザーのカジュアルなスケッチからインタラクティブな3Dゲームシーンを自動生成

Sketch2Scene: Automatic Generation of Interactive 3D Game Scenes from User's Casual Sketches

August 8, 2024

著者: Yongzhi Xu, Yonhon Ng, Yifu Wang, Inkyu Sa, Yunfei Duan, Yang Li, Pan Ji, Hongdong Li

cs.AI

要旨

3Dコンテンツ生成は、ビデオゲーム、映画制作、仮想現実（VR）および拡張現実（AR）など、多くのコンピュータグラフィックスアプリケーションの中核をなす技術です。本論文では、ユーザーのカジュアルなプロンプト（例えば手描きのスケッチ）から、インタラクティブでプレイ可能な3Dゲームシーンを自動生成するための新しい深層学習ベースのアプローチを提案します。スケッチベースの入力は、コンテンツ作成プロセスにおいてユーザーのデザイン意図を伝える自然で便利な方法を提供します。学習におけるデータ不足の課題（すなわち、大規模な3Dシーンのトレーニングデータの欠如）を回避するため、我々の手法は事前学習済みの2Dノイズ除去拡散モデルを活用して、シーンの概念的なガイダンスとして2D画像を生成します。このプロセスでは、等角投影モードを採用して未知のカメラポーズを排除しつつ、シーンレイアウトを取得します。生成された等角画像からは、事前学習済みの画像理解手法を用いて、地面から離れたオブジェクト、木、建物などの意味のある部分に画像をセグメント化し、2Dシーンレイアウトを抽出します。これらのセグメントとレイアウトは、その後、UnityやUnrealなどの3Dビデオゲームエンジンのようなプロシージャルコンテンツ生成（PCG）エンジンに供給され、3Dシーンが作成されます。結果として得られる3Dシーンは、ゲーム開発環境にシームレスに統合可能で、すぐにプレイ可能な状態になります。広範なテストにより、我々の手法がユーザーの意図に忠実なレイアウトで、高品質でインタラクティブな3Dゲームシーンを効率的に生成できることが実証されています。

English

3D Content Generation is at the heart of many computer graphics applications, including video gaming, film-making, virtual and augmented reality, etc. This paper proposes a novel deep-learning based approach for automatically generating interactive and playable 3D game scenes, all from the user's casual prompts such as a hand-drawn sketch. Sketch-based input offers a natural, and convenient way to convey the user's design intention in the content creation process. To circumvent the data-deficient challenge in learning (i.e. the lack of large training data of 3D scenes), our method leverages a pre-trained 2D denoising diffusion model to generate a 2D image of the scene as the conceptual guidance. In this process, we adopt the isometric projection mode to factor out unknown camera poses while obtaining the scene layout. From the generated isometric image, we use a pre-trained image understanding method to segment the image into meaningful parts, such as off-ground objects, trees, and buildings, and extract the 2D scene layout. These segments and layouts are subsequently fed into a procedural content generation (PCG) engine, such as a 3D video game engine like Unity or Unreal, to create the 3D scene. The resulting 3D scene can be seamlessly integrated into a game development environment and is readily playable. Extensive tests demonstrate that our method can efficiently generate high-quality and interactive 3D game scenes with layouts that closely follow the user's intention.