WildWorld: Een grootschalige dataset voor dynamische wereldmodellering met acties en expliciete toestanden ter ondersteuning van generatieve ARPG
WildWorld: A Large-Scale Dataset for Dynamic World Modeling with Actions and Explicit State toward Generative ARPG
March 24, 2026
Auteurs: Zhen Li, Zian Meng, Shuwei Shi, Wenshuo Peng, Yuwei Wu, Bo Zheng, Chuanhao Li, Kaipeng Zhang
cs.AI
Samenvatting
Dynamische-systeemtheorie en reinforcement learning beschouwen wereldevolutie als latent-toestandsdynamica aangedreven door acties, waarbij visuele observaties gedeeltelijke informatie over de toestand verschaffen. Recente videowereldmodellen proberen deze actie-geconditioneerde dynamica uit data te leren. Bestaande datasets voldoen echter zelden aan de vereiste: ze missen typisch diverse en semantisch betekenisvolle actieruimtes, en acties zijn direct gekoppeld aan visuele observaties in plaats van gemedieerd door onderliggende toestanden. Hierdoor zijn acties vaak verstrengeld met pixelveranderingen, wat het moeilijk maakt voor modellen om gestructureerde werelddynamica te leren en consistente evolutie over lange tijdshorizons te behouden. In dit artikel presenteren we WildWorld, een grootschalige actie-geconditioneerde wereldmodelleerdataset met expliciete toestandsannotaties, automatisch verzameld vanuit een fotorealistische AAA actie-rollenspelserie (Monster Hunter: Wilds). WildWorld bevat meer dan 108 miljoen frames en biedt meer dan 450 acties, inclusief beweging, aanvallen en vaardigheidsuitvoering, samen met gesynchroniseerde per-frame annotaties van karakter-skeletten, wereldtoestanden, cameraposities en dieptekaarten. We leiden verder WildBench af om modellen te evalueren via Actievolging en Toestandsuitlijning. Uitgebreide experimenten onthullen hardnekkige uitdagingen in het modelleren van semantisch rijke acties en het behouden van lange-termijn toestandsconsistentie, wat de noodzaak van toestandsbewuste videogeneratie benadrukt. De projectpagina is https://shandaai.github.io/wildworld-project/.
English
Dynamical systems theory and reinforcement learning view world evolution as latent-state dynamics driven by actions, with visual observations providing partial information about the state. Recent video world models attempt to learn this action-conditioned dynamics from data. However, existing datasets rarely match the requirement: they typically lack diverse and semantically meaningful action spaces, and actions are directly tied to visual observations rather than mediated by underlying states. As a result, actions are often entangled with pixel-level changes, making it difficult for models to learn structured world dynamics and maintain consistent evolution over long horizons. In this paper, we propose WildWorld, a large-scale action-conditioned world modeling dataset with explicit state annotations, automatically collected from a photorealistic AAA action role-playing game (Monster Hunter: Wilds). WildWorld contains over 108 million frames and features more than 450 actions, including movement, attacks, and skill casting, together with synchronized per-frame annotations of character skeletons, world states, camera poses, and depth maps. We further derive WildBench to evaluate models through Action Following and State Alignment. Extensive experiments reveal persistent challenges in modeling semantically rich actions and maintaining long-horizon state consistency, highlighting the need for state-aware video generation. The project page is https://shandaai.github.io/wildworld-project/.