世界モデルのスケーリングのための検証可能な軌跡データエンジンとしてのエージェント型ゲーム開発

要旨

ワールドモデルをスケーリングする一般的な戦略は、より多くの計算リソースを使って、より多くのクロール動画を学習させることである。我々は、この戦略は非効率であると主張する。ワールドモデルのスケーリングには、基盤のある報酬信号を提供する再帰的データエンジンも必要である。コードエージェントの成功は、このことがなぜ重要かを示している。コードは実行可能であるため、コンパイラやランタイムはLLMの強化学習（RL）によるポストトレーニングに対して高品質な報酬を提供できる。対照的に、空間生成は依然としてCLIPスコアのような曖昧な代理指標に大きく依存している。これらの信号は曖昧で偏りがあり、RLポストトレーニングを支援するのが難しい。これらと比較して、ゲーム開発は空間ワールドモデルにとって欠けている報酬環境を提供する。ゲームエンジンによって符号化されたシーンは実行可能なワールド仕様である。エンジンは衝突、物理、ナビゲーション可能性、制約付きプレイ可能性を効率的にチェックでき、開発者はシーンを受け入れるべきかどうかを判断することでグローバルな検証信号を提供する。ゲーム開発はまた、RLポストトレーニングのための現実世界の長期的な軌跡データを提供する。そこで我々は、人間とエンジンによる検証を用いた強化学習（RLHEV）を提案する。これは、密集したエンジン信号と、開発プロセスからの暗黙的な人間の受け入れフィードバックを組み合わせたポストトレーニングパラダイムである。

English

A common strategy for scaling world models is to train on more crawled video with more compute. We argue that this strategy is inefficient: scaling world models also requires a recursive data engine that offers grounded reward signals. The success of code agents illustrates why this matters. As code is executable, compilers and runtimes can provide high-quality rewards for Reinforcement Learning (RL) post-training of LLMs. By contrast, spatial generation still relies largely on fuzzy proxies such as CLIP scores. These signals are fuzzy and biased, making them hard to support RL post-training. Compared with these, game development provides a missing reward environment for spatial world models. A scene encoded by a game engine is an executable world specification: the engine can efficiently check collision, physics, navigability and bounded playability, while the developer provides the global verification signal by judging whether the scene should be accepted. Game development also provides real-world long-horizon trajectory data for RL post-training. We therefore propose Reinforcement Learning with Human-Engine Verification (RLHEV), a post-training paradigm that combines dense engine signals with implicit human acceptance feedback from the development process.

世界モデルのスケーリングのための検証可能な軌跡データエンジンとしてのエージェント型ゲーム開発

Agentic Game Development as a Verifiable Trajectory Data Engine for Scaling World Models

要旨

Support