가상 게임에서 현실 세계의 놀이로

초록

본 논문에서는 사용자 제어 신호로부터 상호작용적 비디오 생성을 가능하게 하는 신경망 기반의 실세계 게임 엔진인 RealPlay를 소개한다. 기존의 게임 스타일 시각적 요소에 초점을 맞춘 연구와 달리, RealPlay는 실제 영상과 유사한 사실적이고 시간적으로 일관된 비디오 시퀀스를 생성하는 것을 목표로 한다. 이 엔진은 상호작용적인 루프로 동작한다: 사용자는 생성된 장면을 관찰하고, 제어 명령을 내리며, 그에 대한 응답으로 짧은 비디오 청크를 받는다. 이러한 사실적이고 즉각적인 생성을 가능하게 하기 위해, 저자들은 낮은 지연 시간 피드백을 위한 반복적 청크 단위 예측, 반복 간의 시간적 일관성, 그리고 정확한 제어 응답을 포함한 주요 문제들을 해결하였다. RealPlay는 실제 세계의 동작 주석이 필요 없이, 레이블이 지정된 게임 데이터와 레이블이 없는 실제 세계 비디오의 조합으로 학습된다. 특히, 두 가지 형태의 일반화가 관찰되었다: (1) 제어 전이(control transfer)—RealPlay는 가상 시나리오에서 실제 세계 시나리오로의 제어 신호를 효과적으로 매핑한다; (2) 개체 전이(entity transfer)—학습 레이블이 자동차 경주 게임에서만 유래했음에도 불구하고, RealPlay는 차량을 넘어 자전거와 보행자를 포함한 다양한 실제 세계 개체를 제어하도록 일반화된다. 프로젝트 페이지는 https://wenqsun.github.io/RealPlay/에서 확인할 수 있다.

English

We introduce RealPlay, a neural network-based real-world game engine that enables interactive video generation from user control signals. Unlike prior works focused on game-style visuals, RealPlay aims to produce photorealistic, temporally consistent video sequences that resemble real-world footage. It operates in an interactive loop: users observe a generated scene, issue a control command, and receive a short video chunk in response. To enable such realistic and responsive generation, we address key challenges including iterative chunk-wise prediction for low-latency feedback, temporal consistency across iterations, and accurate control response. RealPlay is trained on a combination of labeled game data and unlabeled real-world videos, without requiring real-world action annotations. Notably, we observe two forms of generalization: (1) control transfer-RealPlay effectively maps control signals from virtual to real-world scenarios; and (2) entity transfer-although training labels originate solely from a car racing game, RealPlay generalizes to control diverse real-world entities, including bicycles and pedestrians, beyond vehicles. Project page can be found: https://wenqsun.github.io/RealPlay/

가상 게임에서 현실 세계의 놀이로

From Virtual Games to Real-World Play

초록

Support