コード世界モデル：世界脳としてのコーディングエージェント

要旨

ワールドモデルは、複雑な環境が行動やイベントの下でどのように進化するかをシミュレートすることを目的としている。しかし、既存のビデオベースのワールドモデルは主に視覚的観察からダイナミクスを学習する。視覚的観察は結果を明らかにするだけで、世界の進化を支配する根本的な知識、規則、メカニズムを捉えるものではない。これにより、永続的な結果を維持し、一貫性のあるオープンエンドな進化を支援することが困難になる。我々は、言語モデルの推論能力とコーディング能力をビデオモデルの生成的先行知識と組み合わせることで、世界の進化と視覚的実現を分離するフレームワークであるCode World Modelを導入する。コーディングエージェントがワールドブレインとして機能し、イベントとその結果について推論し、実行可能なコードを生成して永続的なワールド状態を維持し、ルールに一貫した進化を実行する。実行可能な状態と視覚生成を接続するために、フレームごとの時空間的制約をエンコードし、プロキシビデオにコンパイルされるプロキシ表現を導入する。このプロキシビデオがビデオモデルを条件付け、高忠実度の視覚的観察をレンダリングさせる。さらに、ゲームプレイと実世界のビデオから整列されたプロキシ・観察ペアを構築するためのデータパイプラインを開発する。ペアのゲームプレイデータでファインチューニングした後、MiniMax-H3は、コーディングエージェントが構築したシンプルなインタラクティブワールドからのプロキシベースの時空間仕様に従いながら、豊かな視覚的詳細とダイナミクスを維持する。これらの結果は、永続的な世界進化のためのコードと柔軟な視覚実現のためのビデオモデルを組み合わせる可能性を示しており、オープンエンドなワールドモデルへの新しい道を提供する。

English

World models aim to simulate how complex environments evolve under actions and events, yet existing video-based world models primarily learn dynamics from visual observations, which reveal outcomes rather than the underlying knowledge, rules, and mechanisms governing world evolution. This makes it difficult to maintain persistent consequences and support coherent, open-ended evolution. We introduce Code World Model, a framework that separates world evolution from visual realization by combining the reasoning and coding capabilities of language models with the generative priors of video models. A coding agent serves as the world brain, reasoning about events and their consequences and generating executable code to maintain persistent world state and perform rule-consistent evolution. To connect executable state with visual generation, we introduce a proxy representation that encodes frame-wise spatiotemporal constraints and is compiled into a proxy video, which conditions a video model to render high-fidelity visual observations. We further develop data pipelines for constructing aligned proxy-observation pairs from gameplay and real-world videos. After fine-tuning on paired gameplay data, MiniMax-H3 follows proxy-based spatiotemporal specifications from simple interactive worlds built by the coding agent while preserving rich visual details and dynamics. These results demonstrate the potential of combining code for persistent world evolution with video models for flexible visual realization, providing a new path toward open-ended world models.