PlayWorld: エージェントプレイヤーによる長期目標にわたる世界モデルのベンチマーキング

要旨

ビデオワールドモデルは、現在の観測とユーザーのアクションに基づいて将来の状態をシミュレーションする。最近のシステムは、長いシーケンスにわたって印象的な映像の一貫性とアクション制御性を実証している。しかしながら、これらのインタラクティブモデルを公平に比較することは依然として困難である。実際には、人間のプレイヤーは通常、インタラクションを通じて長期的な目標を追求することによりワールドモデルを評価する。例えば、ユーザーは環境の一貫性を確認するために360度振り返ったり、水中に歩み入れて現実的な水の波紋が生成されるかどうかを調べたりする。同じ目標を達成するために必要なアクションシーケンスはモデル間で大きく異なる可能性があり、固定されたアクション条件付き評価はモデル間比較には適さない。この問題に対処するため、我々はマルチモーダルエージェントプレイヤーを用いて、指定された長期的目標に向けてワールドモデルと対話させる。このパラダイムに基づき、171のシナリオを提供し、各シナリオに指定された目標を持つベンチマークであるPlayWorldを紹介する。性能を徹底的に評価するため、幾何学的一貫性、インタラクションの忠実度、視野外の進化、洞察の進化という4つの主要な側面に沿ってモデルを評価する。さらに、映像品質と制御可能性に関する基本能力指標も組み込む。9つの最先端ワールドモデルにわたる実験により、現在のモデルは長期的なインタラクティブ目標、特に空間的一貫性の維持と持続的な状態進化において依然として信頼性が低いことが明らかになった。コードとデータは https://github.com/kxding/PlayWorld で入手できる。

English

Video world models simulate future states conditioned on current observations and user actions. Recent systems have demonstrated impressive video consistency and action controllability over long sequences. However, fairly comparing these interactive models remains challenging. In practice, a human player typically evaluates a world model by pursuing long-horizon objectives through interaction. For example, a user may turn around 360 degrees to see whether the environment remains consistent, or walk into the water and inspect whether realistic water ripples are generated. The action sequence required to achieve the same objective may vary substantially between models, making fixed action-conditioned evaluation unsuitable for cross-model comparison. To address this, we employ multi-modal Agent Players to interact with world models toward specified long-horizon objectives. Building on this paradigm, we introduce PlayWorld, a benchmark providing 171 scenarios, each with a specified objective. To evaluate performance thoroughly, we assess models along four core dimensions: geometry consistency, interaction fidelity, out-of-sight evolution, and insight evolution. In addition, we incorporate basic ability metrics for video quality and controllability. Experiments across nine state-of-the-art world models reveal that current models remain unreliable on long-horizon interactive objectives, particularly in maintaining spatial consistency and persistent state evolution. Code and data are available at https://github.com/kxding/PlayWorld.