WildWorld: Un Conjunto de Datos a Gran Escala para el Modelado Dinámico de Mundos con Acciones y Estados Explícitos hacia ARPG Generativo

WildWorld: A Large-Scale Dataset for Dynamic World Modeling with Actions and Explicit State toward Generative ARPG

March 24, 2026

Autores: Zhen Li, Zian Meng, Shuwei Shi, Wenshuo Peng, Yuwei Wu, Bo Zheng, Chuanhao Li, Kaipeng Zhang

cs.AI

Resumen

La teoría de sistemas dinámicos y el aprendizaje por refuerzo conciben la evolución del mundo como una dinámica de estados latentes impulsada por acciones, donde las observaciones visuales proporcionan información parcial sobre el estado. Los modelos de mundo en video recientes intentan aprender esta dinámica condicionada por acciones a partir de datos. Sin embargo, los conjuntos de datos existentes rara vez cumplen con este requisito: generalmente carecen de espacios de acción diversos y semánticamente significativos, y las acciones están directamente vinculadas a observaciones visuales en lugar de estar mediadas por estados subyacentes. Como resultado, las acciones a menudo se entrelazan con cambios a nivel de píxeles, dificultando que los modelos aprendan dinámicas mundiales estructuradas y mantengan una evolución consistente en horizontes temporales largos. En este artículo, proponemos WildWorld, un conjunto de datos a gran escala para modelado de mundos condicionado por acciones, con anotaciones explícitas de estado, recolectado automáticamente de un juego de rol de acción AAA fotorrealista (Monster Hunter: Wilds). WildWorld contiene más de 108 millones de fotogramas y presenta más de 450 acciones, incluyendo movimiento, ataques y lanzamiento de habilidades, junto con anotaciones sincronizadas por fotograma de esqueletos de personajes, estados del mundo, poses de cámara y mapas de profundidad. Además, derivamos WildBench para evaluar modelos mediante Seguimiento de Acciones y Alineación de Estados. Experimentos exhaustivos revelan desafíos persistentes en el modelado de acciones semánticamente ricas y el mantenimiento de la consistencia de estados a largo plazo, destacando la necesidad de una generación de video consciente del estado. La página del proyecto es https://shandaai.github.io/wildworld-project/.

English

Dynamical systems theory and reinforcement learning view world evolution as latent-state dynamics driven by actions, with visual observations providing partial information about the state. Recent video world models attempt to learn this action-conditioned dynamics from data. However, existing datasets rarely match the requirement: they typically lack diverse and semantically meaningful action spaces, and actions are directly tied to visual observations rather than mediated by underlying states. As a result, actions are often entangled with pixel-level changes, making it difficult for models to learn structured world dynamics and maintain consistent evolution over long horizons. In this paper, we propose WildWorld, a large-scale action-conditioned world modeling dataset with explicit state annotations, automatically collected from a photorealistic AAA action role-playing game (Monster Hunter: Wilds). WildWorld contains over 108 million frames and features more than 450 actions, including movement, attacks, and skill casting, together with synchronized per-frame annotations of character skeletons, world states, camera poses, and depth maps. We further derive WildBench to evaluate models through Action Following and State Alignment. Extensive experiments reveal persistent challenges in modeling semantically rich actions and maintaining long-horizon state consistency, highlighting the need for state-aware video generation. The project page is https://shandaai.github.io/wildworld-project/.