WildWorld: Um Grande Conjunto de Dados para Modelagem Dinâmica do Mundo com Ações e Estado Explícito voltado para ARPG Generativo

WildWorld: A Large-Scale Dataset for Dynamic World Modeling with Actions and Explicit State toward Generative ARPG

March 24, 2026

Autores: Zhen Li, Zian Meng, Shuwei Shi, Wenshuo Peng, Yuwei Wu, Bo Zheng, Chuanhao Li, Kaipeng Zhang

cs.AI

Resumo

A teoria dos sistemas dinâmicos e o aprendizado por reforço encaram a evolução do mundo como dinâmicas de estados latentes impulsionadas por ações, com observações visuais fornecendo informações parciais sobre o estado. Modelos de mundo em vídeo recentes tentam aprender essa dinâmica condicionada por ação a partir de dados. No entanto, os conjuntos de dados existentes raramente atendem ao requisito: normalmente carecem de espaços de ação diversificados e semanticamente significativos, e as ações estão diretamente vinculadas a observações visuais em vez de serem mediadas por estados subjacentes. Como resultado, as ações frequentemente se entrelaçam com mudanças a nível de pixel, dificultando que os modelos aprendam dinâmicas mundiais estruturadas e mantenham uma evolução consistente em horizontes longos. Neste artigo, propomos WildWorld, um conjunto de dados em larga escala para modelagem de mundo condicionada por ação com anotações explícitas de estado, coletado automaticamente de um jogo de ação e RPG realista AAA (Monster Hunter: Wilds). O WildWorld contém mais de 108 milhões de quadros e apresenta mais de 450 ações, incluindo movimento, ataques e lançamento de habilidades, juntamente com anotações sincronizadas por quadro de esqueletos de personagens, estados do mundo, poses de câmera e mapas de profundidade. Derivamos ainda o WildBench para avaliar modelos por meio de Seguimento de Ação e Alinhamento de Estado. Experimentos extensivos revelam desafios persistentes na modelagem de ações semanticamente ricas e na manutenção da consistência de estado em longo prazo, destacando a necessidade de geração de vídeo com consciência de estado. A página do projeto é https://shandaai.github.io/wildworld-project/.

English

Dynamical systems theory and reinforcement learning view world evolution as latent-state dynamics driven by actions, with visual observations providing partial information about the state. Recent video world models attempt to learn this action-conditioned dynamics from data. However, existing datasets rarely match the requirement: they typically lack diverse and semantically meaningful action spaces, and actions are directly tied to visual observations rather than mediated by underlying states. As a result, actions are often entangled with pixel-level changes, making it difficult for models to learn structured world dynamics and maintain consistent evolution over long horizons. In this paper, we propose WildWorld, a large-scale action-conditioned world modeling dataset with explicit state annotations, automatically collected from a photorealistic AAA action role-playing game (Monster Hunter: Wilds). WildWorld contains over 108 million frames and features more than 450 actions, including movement, attacks, and skill casting, together with synchronized per-frame annotations of character skeletons, world states, camera poses, and depth maps. We further derive WildBench to evaluate models through Action Following and State Alignment. Extensive experiments reveal persistent challenges in modeling semantically rich actions and maintaining long-horizon state consistency, highlighting the need for state-aware video generation. The project page is https://shandaai.github.io/wildworld-project/.