Des pixels aux états : Repenser les modèles du monde interactifs comme des moteurs de jeu

Résumé

La création de mondes interactifs répondant de manière cohérente aux actions des joueurs est depuis longtemps un objectif commun à l'infographie, aux jeux vidéo et à l'intelligence artificielle. Les modèles récents de génération vidéo offrent une voie basée sur les données pour atteindre cet objectif, en prédisant des observations futures conditionnées par les actions des utilisateurs, et sont de plus en plus considérés comme de potentiels moteurs de jeu de nouvelle génération. Cependant, réaliser un monde de jeu véritablement interactif exige des résultats d'interaction qui suivent des règles sur des conditions de jeu en évolution, des conséquences qui persistent sur de longs horizons temporels, et une boucle de génération fonctionnant en temps réel. Les moteurs de jeu conventionnels réalisent ces propriétés grâce à une boucle récurrente action-état-observation, dans laquelle les actions du joueur mettent à jour un état de jeu explicite selon des règles prédéfinies et les observations sont rendues à partir de l'état résultant. En prenant cette boucle comme perspective organisatrice, cet article examine la modélisation des mondes de jeu interactifs selon quatre dimensions : le contrôle des actions du joueur, la dynamique de l'état du jeu, la persistance état-observation, et la génération interactive en temps réel. Pour chaque dimension, nous partons des capacités requises par un monde de jeu interactif, regroupons les approches existantes en familles représentatives, et discutons des forces et des compromis de chaque famille. Complétant cette analyse, nous présentons un moteur de données évolutif pour Black Myth: Wukong qui collecte plus de 90 heures de jeu avec des actions de joueur alignées sur les images, des états de jeu réels, et des observations visuelles, ainsi que des annotations structurées et sémantiques, en tant que ressource pour la modélisation de mondes de jeu conscients de l'état. Nous espérons que cet article offrira une vision claire de l'état actuel du domaine et favorisera les progrès vers des mondes de jeu interactifs.

English

Building interactive worlds that respond coherently to player actions has long been a shared goal of computer graphics, games, and artificial intelligence. Recent video generative models provide a data-driven route toward this goal by predicting future observations conditioned on user actions, and are increasingly regarded as potential next-generation game engines. Realizing a genuinely interactive game world, however, requires interaction outcomes that follow rules over evolving game conditions, consequences that persist over long horizons, and a generation loop that operates in real time. Conventional game engines realize these properties through a recurrent action-state-observation loop, in which player actions update an explicit game state according to predefined rules and observations are rendered from the resulting state. Taking this loop as an organizing lens, this paper examines interactive game world modeling along four dimensions: player action control, game state dynamics, state-observation persistence, and real-time interactive generation. For each dimension, we start from the capabilities required by an interactive game world, group existing approaches into representative families, and discuss the strengths and trade-offs of each family. Complementing this analysis, we present a scalable data engine for Black Myth: Wukong that collects over 90 hours of gameplay with frame-aligned player actions, ground-truth game states, and visual observations, together with structured and semantic annotations, as a resource for state-aware game world modeling. We hope this paper offers a clear picture of where the field stands and fosters progress toward interactive game worlds.