Video2Game: 단일 비디오에서 실시간, 상호작용적, 사실적이며 브라우저 호환 가능한 환경 생성

Video2Game: Real-time, Interactive, Realistic and Browser-Compatible Environment from a Single Video

April 15, 2024

저자: Hongchi Xia, Zhi-Hao Lin, Wei-Chiu Ma, Shenlong Wang

cs.AI

초록

고품질의 인터랙티브 가상 환경, 예를 들어 게임과 시뮬레이터를 만드는 것은 종종 복잡하고 비용이 많이 드는 수동 모델링 과정을 수반합니다. 본 논문에서는 실제 장면의 비디오를 사실적이고 인터랙티브한 게임 환경으로 자동 변환하는 새로운 접근 방식인 Video2Game을 소개합니다. 우리 시스템의 핵심은 세 가지 주요 구성 요소로 이루어져 있습니다: (i) 장면의 기하학적 구조와 시각적 외관을 효과적으로 포착하는 신경 방사 필드(NeRF) 모듈; (ii) NeRF의 지식을 추출하여 더 빠른 렌더링을 가능하게 하는 메시 모듈; (iii) 객체 간의 상호작용과 물리적 역학을 모델링하는 물리 모듈. 이렇게 설계된 파이프라인을 따르면 실제 세계의 인터랙티브하고 실행 가능한 디지털 복제본을 구축할 수 있습니다. 우리는 시스템을 실내 및 대규모 실외 장면에서 벤치마크하며, 실시간으로 매우 사실적인 렌더링을 생성할 뿐만 아니라 그 위에 인터랙티브 게임을 구축할 수 있음을 보여줍니다.

English

Creating high-quality and interactive virtual environments, such as games and simulators, often involves complex and costly manual modeling processes. In this paper, we present Video2Game, a novel approach that automatically converts videos of real-world scenes into realistic and interactive game environments. At the heart of our system are three core components:(i) a neural radiance fields (NeRF) module that effectively captures the geometry and visual appearance of the scene; (ii) a mesh module that distills the knowledge from NeRF for faster rendering; and (iii) a physics module that models the interactions and physical dynamics among the objects. By following the carefully designed pipeline, one can construct an interactable and actionable digital replica of the real world. We benchmark our system on both indoor and large-scale outdoor scenes. We show that we can not only produce highly-realistic renderings in real-time, but also build interactive games on top.