WildWorld: Масштабный набор данных для моделирования динамического мира с действиями и явным состоянием в сторону генеративных ARPG

WildWorld: A Large-Scale Dataset for Dynamic World Modeling with Actions and Explicit State toward Generative ARPG

March 24, 2026

Авторы: Zhen Li, Zian Meng, Shuwei Shi, Wenshuo Peng, Yuwei Wu, Bo Zheng, Chuanhao Li, Kaipeng Zhang

cs.AI

Аннотация

Теория динамических систем и обучение с подкреплением рассматривают эволюцию мира как динамику латентных состояний, управляемую действиями, где визуальные наблюдения предоставляют частичную информацию о состоянии. Современные видео-модели мира пытаются изучить эту обусловленную действиями динамику из данных. Однако существующие наборы данных редко соответствуют требованию: обычно им не хватает разнообразных и семантически значимых пространств действий, а действия напрямую связаны с визуальными наблюдениями, а не опосредованы лежащими в основе состояниями. В результате действия часто переплетаются с изменениями на пиксельном уровне, что затрудняет для моделей изучение структурированной динамики мира и поддержание согласованной эволюции на длительных горизонтах. В данной статье мы представляем WildWorld — крупномасштабный набор данных для моделирования мира с условиями по действиям, содержащий явные аннотации состояний, автоматически собранный из фотореалистичной AAA-игры в жанре action RPG (Monster Hunter: Wilds). WildWorld содержит более 108 миллионов кадров и включает более 450 действий, включая перемещение, атаки и применение навыков, вместе с синхронизированными покадровыми аннотациями скелетов персонажей, состояний мира, поз камеры и карт глубины. Мы также представляем WildBench для оценки моделей по критериям Следования Действиям и Выравнивания Состояний. Обширные эксперименты выявляют сохраняющиеся трудности в моделировании семантически насыщенных действий и поддержании согласованности состояний на длительных горизонтах, подчеркивая необходимость генерации видео с учетом состояния. Страница проекта: https://shandaai.github.io/wildworld-project/.

English

Dynamical systems theory and reinforcement learning view world evolution as latent-state dynamics driven by actions, with visual observations providing partial information about the state. Recent video world models attempt to learn this action-conditioned dynamics from data. However, existing datasets rarely match the requirement: they typically lack diverse and semantically meaningful action spaces, and actions are directly tied to visual observations rather than mediated by underlying states. As a result, actions are often entangled with pixel-level changes, making it difficult for models to learn structured world dynamics and maintain consistent evolution over long horizons. In this paper, we propose WildWorld, a large-scale action-conditioned world modeling dataset with explicit state annotations, automatically collected from a photorealistic AAA action role-playing game (Monster Hunter: Wilds). WildWorld contains over 108 million frames and features more than 450 actions, including movement, attacks, and skill casting, together with synchronized per-frame annotations of character skeletons, world states, camera poses, and depth maps. We further derive WildBench to evaluate models through Action Following and State Alignment. Extensive experiments reveal persistent challenges in modeling semantically rich actions and maintaining long-horizon state consistency, highlighting the need for state-aware video generation. The project page is https://shandaai.github.io/wildworld-project/.