WildWorld: Un ampio dataset per la modellazione dinamica del mondo con azioni e stato esplicito verso ARPG generativi

WildWorld: A Large-Scale Dataset for Dynamic World Modeling with Actions and Explicit State toward Generative ARPG

March 24, 2026

Autori: Zhen Li, Zian Meng, Shuwei Shi, Wenshuo Peng, Yuwei Wu, Bo Zheng, Chuanhao Li, Kaipeng Zhang

cs.AI

Abstract

La teoria dei sistemi dinamici e l'apprendimento per rinforzo interpretano l'evoluzione del mondo come dinamiche di stati latenti guidate da azioni, con osservazioni visive che forniscono informazioni parziali sullo stato. I recenti modelli video del mondo tentano di apprendere queste dinamiche condizionate dalle azioni a partire dai dati. Tuttavia, i dataset esistenti raramente soddisfano questo requisito: tipicamente mancano di spazi d'azione diversificati e semanticamente significativi, e le azioni sono legate direttamente alle osservazioni visive anziché essere mediate da stati sottostanti. Di conseguenza, le azioni sono spesso intrecciate con cambiamenti a livello di pixel, rendendo difficile per i modelli apprendere dinamiche strutturate del mondo e mantenere un'evoluzione coerente su orizzonti temporali lunghi. In questo articolo, proponiamo WildWorld, un dataset su larga scala per la modellazione del mondo condizionata da azioni, con annotazioni esplicite degli stati, raccolto automaticamente da un gioco di ruolo d'azione AAA fotorealistico (Monster Hunter: Wilds). WildWorld contiene oltre 108 milioni di frame e presenta più di 450 azioni, inclusi movimenti, attacchi e lancio di abilità, insieme ad annotazioni sincronizzate per frame di scheletri dei personaggi, stati del mondo, pose della telecamera e mappe di profondità. Deriviamo inoltre WildBench per valutare i modelli tramite Action Following e State Alignment. Esperimenti estensivi rivelano sfide persistenti nella modellazione di azioni semanticamente ricche e nel mantenimento della coerenza degli stati su lunghi orizzonti, evidenziando la necessità di una generazione video consapevole dello stato. La pagina del progetto è https://shandaai.github.io/wildworld-project/.

English

Dynamical systems theory and reinforcement learning view world evolution as latent-state dynamics driven by actions, with visual observations providing partial information about the state. Recent video world models attempt to learn this action-conditioned dynamics from data. However, existing datasets rarely match the requirement: they typically lack diverse and semantically meaningful action spaces, and actions are directly tied to visual observations rather than mediated by underlying states. As a result, actions are often entangled with pixel-level changes, making it difficult for models to learn structured world dynamics and maintain consistent evolution over long horizons. In this paper, we propose WildWorld, a large-scale action-conditioned world modeling dataset with explicit state annotations, automatically collected from a photorealistic AAA action role-playing game (Monster Hunter: Wilds). WildWorld contains over 108 million frames and features more than 450 actions, including movement, attacks, and skill casting, together with synchronized per-frame annotations of character skeletons, world states, camera poses, and depth maps. We further derive WildBench to evaluate models through Action Following and State Alignment. Extensive experiments reveal persistent challenges in modeling semantically rich actions and maintaining long-horizon state consistency, highlighting the need for state-aware video generation. The project page is https://shandaai.github.io/wildworld-project/.