WildWorld : Un vaste ensemble de données pour la modélisation dynamique du monde avec actions et état explicite vers les ARPG génératifs

WildWorld: A Large-Scale Dataset for Dynamic World Modeling with Actions and Explicit State toward Generative ARPG

March 24, 2026

Auteurs: Zhen Li, Zian Meng, Shuwei Shi, Wenshuo Peng, Yuwei Wu, Bo Zheng, Chuanhao Li, Kaipeng Zhang

cs.AI

Résumé

La théorie des systèmes dynamiques et l'apprentissage par renforcement considèrent l'évolution du monde comme une dynamique d'états latents pilotée par des actions, les observations visuelles fournissant une information partielle sur l'état. Les modèles vidéo du monde récents tentent d'apprendre cette dynamique conditionnée par les actions à partir de données. Cependant, les jeux de données existants correspondent rarement à cette exigence : ils manquent généralement d'espaces d'actions diversifiés et sémantiquement significatifs, et les actions sont directement liées aux observations visuelles plutôt que médiées par des états sous-jacents. Par conséquent, les actions sont souvent entremêlées avec des changements au niveau pixel, rendant difficile pour les modèles l'apprentissage d'une dynamique mondiale structurée et le maintien d'une évolution cohérente sur de longs horizons. Dans cet article, nous proposons WildWorld, un jeu de données à grande échelle pour la modélisation du monde conditionnée par les actions, avec des annotations explicites d'état, collecté automatiquement à partir d'un jeu de rôle d'action AAA photoréaliste (Monster Hunter: Wilds). WildWorld contient plus de 108 millions d'images et propose plus de 450 actions, incluant les déplacements, les attaques et l'utilisation de compétences, ainsi que des annotations synchronisées par image des squelettes des personnages, des états du monde, des poses de caméra et des cartes de profondeur. Nous dérivons en outre WildBench pour évaluer les modèles via le Suivi d'Actions et l'Alignement d'État. Des expériences approfondies révèlent des défis persistants dans la modélisation d'actions sémantiquement riches et le maintien de la cohérence de l'état sur de longs horizons, soulignant le besoin d'une génération vidéo consciente de l'état. La page du projet est https://shandaai.github.io/wildworld-project/.

English

Dynamical systems theory and reinforcement learning view world evolution as latent-state dynamics driven by actions, with visual observations providing partial information about the state. Recent video world models attempt to learn this action-conditioned dynamics from data. However, existing datasets rarely match the requirement: they typically lack diverse and semantically meaningful action spaces, and actions are directly tied to visual observations rather than mediated by underlying states. As a result, actions are often entangled with pixel-level changes, making it difficult for models to learn structured world dynamics and maintain consistent evolution over long horizons. In this paper, we propose WildWorld, a large-scale action-conditioned world modeling dataset with explicit state annotations, automatically collected from a photorealistic AAA action role-playing game (Monster Hunter: Wilds). WildWorld contains over 108 million frames and features more than 450 actions, including movement, attacks, and skill casting, together with synchronized per-frame annotations of character skeletons, world states, camera poses, and depth maps. We further derive WildBench to evaluate models through Action Following and State Alignment. Extensive experiments reveal persistent challenges in modeling semantically rich actions and maintaining long-horizon state consistency, highlighting the need for state-aware video generation. The project page is https://shandaai.github.io/wildworld-project/.