코드 세계 모델: 세계의 두뇌로서의 코딩 에이전트

초록

세계 모델은 복잡한 환경이 행동과 사건에 따라 어떻게 진화하는지를 시뮬레이션하는 것을 목표로 한다. 그러나 기존의 비디오 기반 세계 모델은 주로 시각적 관측으로부터 역학을 학습하는데, 이는 세계 진화를 지배하는 근본적인 지식, 규칙, 메커니즘이 아닌 결과만을 드러낸다. 이로 인해 지속적인 결과를 유지하고 일관된 개방형 진화를 지원하기 어렵다. 본 논문에서는 언어 모델의 추론 및 코딩 능력과 비디오 모델의 생성적 사전 지식을 결합하여 세계 진화와 시각적 구현을 분리하는 프레임워크인 Code World Model을 제안한다. 코딩 에이전트는 세계 두뇌로서 사건과 그 결과를 추론하고 실행 가능한 코드를 생성하여 지속적인 세계 상태를 유지하고 규칙에 부합하는 진화를 수행한다. 실행 가능한 상태를 시각적 생성과 연결하기 위해 프레임별 시공간적 제약을 인코딩하는 프록시 표현을 도입하고, 이를 프록시 비디오로 컴파일하여 비디오 모델이 고충실도의 시각적 관측을 렌더링하도록 조건화한다. 또한 게임 플레이 및 실세계 비디오로부터 정렬된 프록시-관측 쌍을 구축하기 위한 데이터 파이프라인을 개발한다. 페어링된 게임 플레이 데이터로 파인튜닝한 결과, MiniMax-H3는 풍부한 시각적 세부 정보와 역학을 보존하면서 코딩 에이전트가 구축한 단순한 상호작용 세계로부터의 프록시 기반 시공간적 명세를 따르는 것을 확인하였다. 이러한 결과는 지속적인 세계 진화를 위한 코드와 유연한 시각적 구현을 위한 비디오 모델을 결합하는 잠재력을 입증하며, 개방형 세계 모델을 향한 새로운 경로를 제시한다.

English

World models aim to simulate how complex environments evolve under actions and events, yet existing video-based world models primarily learn dynamics from visual observations, which reveal outcomes rather than the underlying knowledge, rules, and mechanisms governing world evolution. This makes it difficult to maintain persistent consequences and support coherent, open-ended evolution. We introduce Code World Model, a framework that separates world evolution from visual realization by combining the reasoning and coding capabilities of language models with the generative priors of video models. A coding agent serves as the world brain, reasoning about events and their consequences and generating executable code to maintain persistent world state and perform rule-consistent evolution. To connect executable state with visual generation, we introduce a proxy representation that encodes frame-wise spatiotemporal constraints and is compiled into a proxy video, which conditions a video model to render high-fidelity visual observations. We further develop data pipelines for constructing aligned proxy-observation pairs from gameplay and real-world videos. After fine-tuning on paired gameplay data, MiniMax-H3 follows proxy-based spatiotemporal specifications from simple interactive worlds built by the coding agent while preserving rich visual details and dynamics. These results demonstrate the potential of combining code for persistent world evolution with video models for flexible visual realization, providing a new path toward open-ended world models.