Video2Game: Echtzeit-, interaktive, realistische und browserkompatible Umgebung aus einem einzigen Video

Video2Game: Real-time, Interactive, Realistic and Browser-Compatible Environment from a Single Video

April 15, 2024

Autoren: Hongchi Xia, Zhi-Hao Lin, Wei-Chiu Ma, Shenlong Wang

cs.AI

Zusammenfassung

Die Erstellung hochwertiger und interaktiver virtueller Umgebungen, wie Spiele und Simulatoren, erfordert oft komplexe und kostspielige manuelle Modellierungsprozesse. In diesem Artikel stellen wir Video2Game vor, einen innovativen Ansatz, der Videos von realen Szenen automatisch in realistische und interaktive Spielumgebungen umwandelt. Im Zentrum unseres Systems stehen drei Kernkomponenten: (i) ein neuronales Strahlungsfeld (NeRF)-Modul, das die Geometrie und visuelle Erscheinung der Szene effektiv erfasst; (ii) ein Mesh-Modul, das das Wissen aus NeRF für eine schnellere Darstellung destilliert; und (iii) ein Physik-Modul, das die Interaktionen und physikalische Dynamik zwischen den Objekten modelliert. Durch die sorgfältig gestaltete Pipeline kann man eine interaktive und handlungsfähige digitale Nachbildung der realen Welt erstellen. Wir evaluieren unser System anhand von Innen- und großflächigen Außenszenen. Wir zeigen, dass wir nicht nur hochrealistische Darstellungen in Echtzeit erzeugen können, sondern auch interaktive Spiele darauf aufbauen können.

English

Creating high-quality and interactive virtual environments, such as games and simulators, often involves complex and costly manual modeling processes. In this paper, we present Video2Game, a novel approach that automatically converts videos of real-world scenes into realistic and interactive game environments. At the heart of our system are three core components:(i) a neural radiance fields (NeRF) module that effectively captures the geometry and visual appearance of the scene; (ii) a mesh module that distills the knowledge from NeRF for faster rendering; and (iii) a physics module that models the interactions and physical dynamics among the objects. By following the carefully designed pipeline, one can construct an interactable and actionable digital replica of the real world. We benchmark our system on both indoor and large-scale outdoor scenes. We show that we can not only produce highly-realistic renderings in real-time, but also build interactive games on top.