De píxeles a estados: repensando los modelos de mundo interactivos como motores de juego

Resumen

Construir mundos interactivos que respondan coherentemente a las acciones del jugador ha sido durante mucho tiempo un objetivo compartido de los gráficos por computadora, los juegos y la inteligencia artificial. Los modelos generativos de video recientes proporcionan una ruta basada en datos hacia este objetivo al predecir observaciones futuras condicionadas a las acciones del usuario, y son cada vez más considerados como potenciales motores de juego de próxima generación. Sin embargo, lograr un mundo de juego genuinamente interactivo requiere resultados de interacción que sigan reglas sobre condiciones de juego en evolución, consecuencias que persistan en horizontes prolongados y un bucle de generación que opere en tiempo real. Los motores de juego convencionales realizan estas propiedades a través de un bucle recurrente de acción-estado-observación, en el que las acciones del jugador actualizan un estado de juego explícito según reglas predefinidas y las observaciones se renderizan a partir del estado resultante. Tomando este bucle como lente organizadora, este artículo examina el modelado de mundos de juego interactivos en cuatro dimensiones: control de acciones del jugador, dinámica del estado del juego, persistencia estado-observación y generación interactiva en tiempo real. Para cada dimensión, partimos de las capacidades requeridas por un mundo de juego interactivo, agrupamos los enfoques existentes en familias representativas y discutimos las fortalezas y compensaciones de cada familia. Complementando este análisis, presentamos un motor de datos escalable para *Black Myth: Wukong* que recopila más de 90 horas de juego con acciones del jugador alineadas por fotogramas, estados de juego reales (ground-truth) y observaciones visuales, junto con anotaciones estructuradas y semánticas, como un recurso para el modelado de mundos de juego conscientes del estado. Esperamos que este artículo ofrezca una imagen clara de dónde se encuentra el campo y fomente el progreso hacia los mundos de juego interactivos.

English

Building interactive worlds that respond coherently to player actions has long been a shared goal of computer graphics, games, and artificial intelligence. Recent video generative models provide a data-driven route toward this goal by predicting future observations conditioned on user actions, and are increasingly regarded as potential next-generation game engines. Realizing a genuinely interactive game world, however, requires interaction outcomes that follow rules over evolving game conditions, consequences that persist over long horizons, and a generation loop that operates in real time. Conventional game engines realize these properties through a recurrent action-state-observation loop, in which player actions update an explicit game state according to predefined rules and observations are rendered from the resulting state. Taking this loop as an organizing lens, this paper examines interactive game world modeling along four dimensions: player action control, game state dynamics, state-observation persistence, and real-time interactive generation. For each dimension, we start from the capabilities required by an interactive game world, group existing approaches into representative families, and discuss the strengths and trade-offs of each family. Complementing this analysis, we present a scalable data engine for Black Myth: Wukong that collects over 90 hours of gameplay with frame-aligned player actions, ground-truth game states, and visual observations, together with structured and semantic annotations, as a resource for state-aware game world modeling. We hope this paper offers a clear picture of where the field stands and fosters progress toward interactive game worlds.