픽셀에서 상태로: 상호작용적 세계 모델을 게임 엔진으로 재해석하기

초록

플레이어의 행동에 일관성 있게 반응하는 상호작용적 세계를 구축하는 것은 오랫동안 컴퓨터 그래픽스, 게임, 인공지능의 공통된 목표였다. 최근 비디오 생성 모델은 사용자 행동에 조건화된 미래 관측값을 예측함으로써 이 목표를 향한 데이터 기반 접근법을 제공하며, 잠재적인 차세대 게임 엔진으로 점점 더 인식되고 있다. 그러나 진정한 상호작용적 게임 세계를 구현하려면 변화하는 게임 조건에 따라 규칙을 따르는 상호작용 결과, 장기간에 걸쳐 지속되는 결과, 그리고 실시간으로 작동하는 생성 루프가 필요하다. 기존 게임 엔진은 반복적인 행동-상태-관측 루프를 통해 이러한 속성을 구현하는데, 여기서 플레이어 행동은 사전 정의된 규칙에 따라 명시적 게임 상태를 업데이트하고, 관측값은 그 결과 상태에서 렌더링된다. 이 루프를 조직적 렌즈로 삼아, 본 논문은 플레이어 행동 제어, 게임 상태 동역학, 상태-관측 지속성, 실시간 상호작용 생성의 네 가지 차원에서 상호작용적 게임 세계 모델링을 검토한다. 각 차원에 대해, 상호작용적 게임 세계에 필요한 역량에서 시작하여 기존 접근법을 대표적인 계열로 분류하고 각 계열의 장점과 절충점을 논의한다. 이 분석을 보완하여, 우리는 상태 인식 게임 세계 모델링을 위한 자원으로서 프레임 정렬된 플레이어 행동, 실제 게임 상태, 시각적 관측값을 포함한 90시간 이상의 게임플레이 데이터를 구조화 및 의미 주석과 함께 수집하는 Black Myth: Wukong용 확장 가능 데이터 엔진을 제시한다. 우리는 이 논문이 해당 분야의 현재 위치에 대한 명확한 그림을 제공하고 상호작용적 게임 세계로의 발전을 촉진하기를 바란다.

English

Building interactive worlds that respond coherently to player actions has long been a shared goal of computer graphics, games, and artificial intelligence. Recent video generative models provide a data-driven route toward this goal by predicting future observations conditioned on user actions, and are increasingly regarded as potential next-generation game engines. Realizing a genuinely interactive game world, however, requires interaction outcomes that follow rules over evolving game conditions, consequences that persist over long horizons, and a generation loop that operates in real time. Conventional game engines realize these properties through a recurrent action-state-observation loop, in which player actions update an explicit game state according to predefined rules and observations are rendered from the resulting state. Taking this loop as an organizing lens, this paper examines interactive game world modeling along four dimensions: player action control, game state dynamics, state-observation persistence, and real-time interactive generation. For each dimension, we start from the capabilities required by an interactive game world, group existing approaches into representative families, and discuss the strengths and trade-offs of each family. Complementing this analysis, we present a scalable data engine for Black Myth: Wukong that collects over 90 hours of gameplay with frame-aligned player actions, ground-truth game states, and visual observations, together with structured and semantic annotations, as a resource for state-aware game world modeling. We hope this paper offers a clear picture of where the field stands and fosters progress toward interactive game worlds.