매트릭스-게임 3.5: 패치 메모리를 활용한 실시간 스트리밍 인터랙티브 월드 모델의 향상

초록

인터랙티브 월드 모델은 비디오 생성을 오프라인 클립 합성에서 인터랙티브 가상 세계의 지속적 시뮬레이션으로 확장하여 게임, 로봇공학, 체화된 에이전트, XR 응용을 가능하게 한다. 그러나 안정적인 장기 지평 인터랙티브 생성을 달성하는 것은 여전히 어려운데, 모델이 실시간 자기회귀 생성을 지원하면서 동시에 장면 지오메트리, 동적 일관성, 카메라 제어를 보존해야 하기 때문이다. Matrix-Game 3.0을 기반으로, 우리는 그림 1에 제시된 Matrix-Game 3.5를 제안한다. 이는 세 가지 핵심 개선을 통해 실시간 인터랙티브 월드 생성을 지오메트리 인지 및 장기 지평 일관적 시뮬레이션으로 발전시킨다. 첫째, 우리는 통합된 지오메트리 인지 메모리 프레임워크를 제안한다. 이 프레임워크의 패치 메모리와 타일드-PRoPE 구성 요소는 추가 학습 가능한 파라미터를 도입하지 않으며, 명시적 3D 패치 검색과 사영 카메라 조건화를 결합하여 기하학적으로 일관된 카메라 제어와 충실한 장기 지평 장면 회상을 가능하게 한다. 둘째, 우리는 정적 장면 지오메트리와 동적 객체를 별도로 모델링하는 정적-동적 분리 월드 표현을 도입하여, 장기 지평 생성 전반에 걸쳐 기하학적 일관성과 객체 정체성을 모두 보존한다. 셋째, 우리는 양방향 확산 모델을 지각적 플로우 매칭과 커리큘럼 기반 셀프 롤아웃 DMD를 통해 소수 스텝 인과 생성기로 변환하는 2단계 점진적 실시간 증류 프레임워크를 개발하여, 수 분 길이의 실시간 인터랙티브 생성을 가능하게 한다. 광범위한 실험을 통해, 언리얼 시뮬레이션 환경, 오픈월드 게임, 인터넷 비디오를 아우르는 통합 학습 말뭉치를 사용하여 MatrixGame 3.5가 장기 지평 장면 회상, 정밀한 카메라 제어, 객체 일관성, 프롬프트 기반 월드 생성, 안정적인 실시간 오픈월드 인터랙션에서 강력한 성능을 달성함을 입증한다.

English

Interactive world models extend video generation from offline clip synthesis toward persistent simulation of interactive virtual worlds, enabling applications in games, robotics, embodied agents, and XR. Achieving stable long-horizon interactive generation, however, remains challenging, as the model must simultaneously preserve scene geometry, dynamic consistency, and camera control while supporting real-time autoregressive generation. Building upon Matrix-Game 3.0, we present Matrix-Game 3.5, as shown in Figure 1, which advances real-time interactive world generation toward geometry-aware and long-horizon consistent simulation through three key improvements. First, we propose a unified geometry-aware memory framework, whose patch-memory and tiled-PRoPE components introduce no additional learnable parameters, combining explicit 3D patch retrieval with projective camera conditioning to enable geometry-consistent camera control and faithful long-horizon scene recall. Second, we introduce a static-dynamic disentangled world representation that separately models static scene geometry and dynamic subjects, preserving both geometric consistency and subject identity throughout long-horizon generation. Third, we develop a two-stage progressive real-time distillation framework that converts a bidirectional diffusion model into a few-step causal generator through Perceptual Flow Matching and curriculum based Self-Rollout DMD, enabling minute-long real-time interactive generation. Extensive experiments demonstrate that, with a unified training corpus spanning Unreal simulation environments, open-world games, and internet videos, MatrixGame 3.5 achieves strong performance in long-horizon scene recall, precise camera control, subject consistency, prompt-driven world generation, and stable real-time open-world interaction.