Video2Game: 単一の動画から実時間・インタラクティブ・リアルでブラウザ互換の環境を生成

Video2Game: Real-time, Interactive, Realistic and Browser-Compatible Environment from a Single Video

April 15, 2024

著者: Hongchi Xia, Zhi-Hao Lin, Wei-Chiu Ma, Shenlong Wang

cs.AI

要旨

高品質でインタラクティブな仮想環境（ゲームやシミュレーターなど）の作成には、複雑でコストのかかる手動のモデリングプロセスがしばしば必要とされます。本論文では、現実世界のシーンのビデオをリアルでインタラクティブなゲーム環境に自動的に変換する新しいアプローチであるVideo2Gameを紹介します。私たちのシステムの中核には、以下の3つの主要コンポーネントがあります：(i) シーンの幾何学と視覚的な外観を効果的に捉えるニューラルラジアンスフィールド（NeRF）モジュール、(ii) NeRFから知識を抽出して高速なレンダリングを実現するメッシュモジュール、(iii) オブジェクト間の相互作用と物理的なダイナミクスをモデル化する物理モジュールです。このように設計されたパイプラインに従うことで、現実世界のインタラクティブでアクション可能なデジタルレプリカを構築することができます。私たちは、室内シーンと大規模な屋外シーンの両方でシステムをベンチマークしました。その結果、リアルタイムで非常にリアルなレンダリングを生成できるだけでなく、その上にインタラクティブなゲームを構築できることを示しました。

English

Creating high-quality and interactive virtual environments, such as games and simulators, often involves complex and costly manual modeling processes. In this paper, we present Video2Game, a novel approach that automatically converts videos of real-world scenes into realistic and interactive game environments. At the heart of our system are three core components:(i) a neural radiance fields (NeRF) module that effectively captures the geometry and visual appearance of the scene; (ii) a mesh module that distills the knowledge from NeRF for faster rendering; and (iii) a physics module that models the interactions and physical dynamics among the objects. By following the carefully designed pipeline, one can construct an interactable and actionable digital replica of the real world. We benchmark our system on both indoor and large-scale outdoor scenes. We show that we can not only produce highly-realistic renderings in real-time, but also build interactive games on top.