Video2Game: Ambiente in Tempo Reale, Interattivo, Realistico e Compatibile con Browser da un Singolo Video

Video2Game: Real-time, Interactive, Realistic and Browser-Compatible Environment from a Single Video

April 15, 2024

Autori: Hongchi Xia, Zhi-Hao Lin, Wei-Chiu Ma, Shenlong Wang

cs.AI

Abstract

La creazione di ambienti virtuali di alta qualità e interattivi, come giochi e simulatori, spesso comporta processi di modellazione manuale complessi e costosi. In questo articolo, presentiamo Video2Game, un approccio innovativo che converte automaticamente video di scene del mondo reale in ambienti di gioco realistici e interattivi. Al centro del nostro sistema ci sono tre componenti principali: (i) un modulo di campi di radianza neurale (NeRF) che cattura efficacemente la geometria e l'aspetto visivo della scena; (ii) un modulo di mesh che estrae la conoscenza da NeRF per un rendering più veloce; e (iii) un modulo di fisica che modella le interazioni e le dinamiche fisiche tra gli oggetti. Seguendo la pipeline progettata con cura, è possibile costruire una replica digitale interattiva e funzionale del mondo reale. Abbiamo testato il nostro sistema sia su scene indoor che su larga scala outdoor. Dimostriamo che non solo possiamo produrre rendering altamente realistici in tempo reale, ma anche costruire giochi interattivi su di essi.

English

Creating high-quality and interactive virtual environments, such as games and simulators, often involves complex and costly manual modeling processes. In this paper, we present Video2Game, a novel approach that automatically converts videos of real-world scenes into realistic and interactive game environments. At the heart of our system are three core components:(i) a neural radiance fields (NeRF) module that effectively captures the geometry and visual appearance of the scene; (ii) a mesh module that distills the knowledge from NeRF for faster rendering; and (iii) a physics module that models the interactions and physical dynamics among the objects. By following the carefully designed pipeline, one can construct an interactable and actionable digital replica of the real world. We benchmark our system on both indoor and large-scale outdoor scenes. We show that we can not only produce highly-realistic renderings in real-time, but also build interactive games on top.