Video2Game: Real-time, Interactieve, Realistische en Browsercompatibele Omgeving vanuit een Enkele Video

Video2Game: Real-time, Interactive, Realistic and Browser-Compatible Environment from a Single Video

April 15, 2024

Auteurs: Hongchi Xia, Zhi-Hao Lin, Wei-Chiu Ma, Shenlong Wang

cs.AI

Samenvatting

Het creëren van hoogwaardige en interactieve virtuele omgevingen, zoals games en simulatoren, vereist vaak complexe en kostbare handmatige modelleringsprocessen. In dit artikel presenteren we Video2Game, een nieuwe aanpak die video's van real-world scènes automatisch omzet in realistische en interactieve game-omgevingen. De kern van ons systeem bestaat uit drie hoofdcomponenten: (i) een neural radiance fields (NeRF)-module die de geometrie en visuele verschijning van de scène effectief vastlegt; (ii) een mesh-module die de kennis van NeRF destilleert voor snellere rendering; en (iii) een physics-module die de interacties en fysieke dynamiek tussen de objecten modelleert. Door het zorgvuldig ontworpen pipeline te volgen, kan men een interactieve en actiegerichte digitale replica van de echte wereld construeren. We testen ons systeem op zowel binnen- als grootschalige buitenomgevingen. We tonen aan dat we niet alleen zeer realistische renderings in realtime kunnen produceren, maar ook interactieve games kunnen bouwen.

English

Creating high-quality and interactive virtual environments, such as games and simulators, often involves complex and costly manual modeling processes. In this paper, we present Video2Game, a novel approach that automatically converts videos of real-world scenes into realistic and interactive game environments. At the heart of our system are three core components:(i) a neural radiance fields (NeRF) module that effectively captures the geometry and visual appearance of the scene; (ii) a mesh module that distills the knowledge from NeRF for faster rendering; and (iii) a physics module that models the interactions and physical dynamics among the objects. By following the carefully designed pipeline, one can construct an interactable and actionable digital replica of the real world. We benchmark our system on both indoor and large-scale outdoor scenes. We show that we can not only produce highly-realistic renderings in real-time, but also build interactive games on top.