Sketch2Scene: Автоматическое создание интерактивных 3D игровых сцен из пользовательских набросков.

Sketch2Scene: Automatic Generation of Interactive 3D Game Scenes from User's Casual Sketches

August 8, 2024

Авторы: Yongzhi Xu, Yonhon Ng, Yifu Wang, Inkyu Sa, Yunfei Duan, Yang Li, Pan Ji, Hongdong Li

cs.AI

Аннотация

Генерация 3D-контента является основой многих приложений компьютерной графики, включая видеоигры, кино, виртуальную и дополненную реальность и т. д. В данной статье предлагается новый подход на основе глубокого обучения для автоматической генерации интерактивных и играбельных 3D-игровых сцен, полностью по запросам пользователя, таким как рисунок от руки. Ввод на основе эскиза предлагает естественный и удобный способ передачи намерений пользователя при создании контента. Для преодоления вызова нехватки данных в процессе обучения (т. е. отсутствия больших обучающих данных 3D-сцен) наш метод использует предварительно обученную модель диффузии для шумоподавления 2D для генерации изображения сцены в качестве концептуального руководства. В этом процессе мы применяем изометрический режим проекции для исключения неизвестных поз камеры при получении компоновки сцены. Из сгенерированного изометрического изображения мы используем предварительно обученный метод понимания изображений для сегментации изображения на значимые части, такие как объекты над землей, деревья и здания, и извлечения компоновки 2D сцены. Эти сегменты и компоновки затем подаются на вход в генератор процедурного контента (PCG), такой как 3D-игровой движок, такой как Unity или Unreal, для создания 3D-сцены. Полученная 3D-сцена может быть легко интегрирована в среду разработки игр и готова к игре. Обширные тесты демонстрируют, что наш метод может эффективно генерировать высококачественные и интерактивные 3D-игровые сцены с компоновками, которые тесно соответствуют намерениям пользователя.

English

3D Content Generation is at the heart of many computer graphics applications, including video gaming, film-making, virtual and augmented reality, etc. This paper proposes a novel deep-learning based approach for automatically generating interactive and playable 3D game scenes, all from the user's casual prompts such as a hand-drawn sketch. Sketch-based input offers a natural, and convenient way to convey the user's design intention in the content creation process. To circumvent the data-deficient challenge in learning (i.e. the lack of large training data of 3D scenes), our method leverages a pre-trained 2D denoising diffusion model to generate a 2D image of the scene as the conceptual guidance. In this process, we adopt the isometric projection mode to factor out unknown camera poses while obtaining the scene layout. From the generated isometric image, we use a pre-trained image understanding method to segment the image into meaningful parts, such as off-ground objects, trees, and buildings, and extract the 2D scene layout. These segments and layouts are subsequently fed into a procedural content generation (PCG) engine, such as a 3D video game engine like Unity or Unreal, to create the 3D scene. The resulting 3D scene can be seamlessly integrated into a game development environment and is readily playable. Extensive tests demonstrate that our method can efficiently generate high-quality and interactive 3D game scenes with layouts that closely follow the user's intention.