GameWAM: 비디오 게임을 위한 세계 행동 모델

초록

현대 비디오 게임은 1인칭 지각, 빠른 시각적 변화, 지속적인 세계 상태, 그리고 이기종 네이티브 컨트롤을 결합한다. 기존 게임 에이전트는 시각적·태스크 컨텍스트를 동작에 직접 매핑하지만 명시적인 세계 역학 모델링이 부족한 반면, 상호작용형 게임 세계 모델은 제공된 동작으로부터 시각적 미래를 예측하지만 태스크 정책으로 기능하지는 않는다. World-Action 모델(WAM)은 이러한 목표들을 통합하지만, 비디오 게임의 역학과 개방형 상호작용 하에서는 아직 거의 탐구되지 않았다. 우리는 현재까지 알려진 바로는 네이티브 폐루프 게임플레이와 GUI 제어를 위한 최초의 WAM인 GameWAM을 소개한다. GameWAM은 블록-인과적 조건화(block-causal conditioning)와 플로우 매칭(flow matching)을 채택한 병렬 시각·동작 생성 프로세스를 통해 미래 시각적 관측과 실행 가능한 키보드-마우스 궤적을 공동으로 생성한다. 세계-동작 공동 학습을 지원하기 위해, 우리는 동기화된 게임플레이·GUI 궤적을 구축한다. 이기종 네이티브 컨트롤을 처리하기 위해, GameWAM은 각 동작 단계에서 게임플레이/GUI 모드를 예측하고, 모드별 예측 분포와 연속 동작 정규화를 사용하여 동작을 생성한다. 장기 지평 상호작용을 위해, 블록-사이클 제어는 약정된 지평(committed horizon)을 넘어 예측하고, 짧은 동작 접두사만 실행한 후 새로운 관측으로부터 재계획을 수행한다. 이와 함께 세분화된 사이클 내부 컨텍스트와 계층적 사이클 간 히스토리가 시간적 연속성을 보존한다. 실험 결과, 비교 대상 에이전트보다 더 적은 수의 네이티브 동작만을 실행하고도 경쟁력 있는 태스크 성공을 달성함을 보여준다. 또한 우리는 저주파 동작 소스 각인(Low-Frequency Action Source Imprinting, LASI)을 발견한다. 이는 고정된 조건화 하에서 샘플링된 동작 소스의 저주파 성분이 생성된 거친 카메라 움직임을 체계적으로 좌우하는 현상으로, 생성적 제어의 소스 민감성 실패 모드를 드러낸다. 프로젝트 페이지는 https://yunncheng.github.io/GameWAM/ 에서 확인할 수 있다.

English

Modern video games combine first-person perception, rapid visual changes, persistent world state, and heterogeneous native controls. Existing game agents map visual and task context directly to actions but lack explicit world dynamics modeling, whereas interactive game world models predict visual futures from supplied actions but do not serve as task policies. World-Action Models (WAMs) unify these objectives, but remain largely unexplored under the dynamics and open-ended interaction of video games. We introduce GameWAM, to our knowledge the first WAM for native closed-loop gameplay and GUI control. GameWAM jointly generates future visual observations and executable keyboard-mouse trajectories through parallel visual and action generative processes with block-causal conditioning and flow matching. To support joint world-action learning, we construct synchronized gameplay and GUI trajectories. To handle heterogeneous native control, GameWAM predicts a gameplay/GUI mode at each action step and generates actions with mode-specific prediction distributions and continuous-action normalization. For long-horizon interaction, block-cycle control predicts beyond the committed horizon, executes only a short action prefix, and replans from new observations, while fine-grained within-cycle context and hierarchical cross-cycle history preserve temporal continuity. Experiments demonstrate competitive task success with fewer executed native actions than the compared agents. We further uncover Low-Frequency Action Source Imprinting (LASI), in which low-frequency components of the sampled action source systematically steer coarse generated camera motion under fixed conditioning, revealing a source-sensitivity failure mode in generative control. Project page is available at https://yunncheng.github.io/GameWAM/.