MineWorld : un modèle de monde interactif en temps réel et open-source sur Minecraft

MineWorld: a Real-Time and Open-Source Interactive World Model on Minecraft

April 11, 2025

Auteurs: Junliang Guo, Yang Ye, Tianyu He, Haoyu Wu, Yushu Jiang, Tim Pearce, Jiang Bian

cs.AI

Résumé

La modélisation du monde est une tâche cruciale pour permettre aux agents intelligents d'interagir efficacement avec les humains et d'opérer dans des environnements dynamiques. Dans ce travail, nous proposons MineWorld, un modèle de monde interactif en temps réel sur Minecraft, un jeu bac à sable ouvert qui a été utilisé comme banc d'essai commun pour la modélisation du monde. MineWorld est piloté par un Transformer autorégressif visuo-actionnel, qui prend en entrée des scènes de jeu et les actions correspondantes, et génère de nouvelles scènes consécutives suivant les actions. Plus précisément, en transformant les scènes visuelles du jeu et les actions en identifiants de jetons discrets avec un tokeniseur d'images et un tokeniseur d'actions respectivement, nous constituons l'entrée du modèle avec la concaténation intercalée des deux types d'identifiants. Le modèle est ensuite entraîné avec une prédiction de jeton suivant pour apprendre des représentations riches des états du jeu ainsi que les conditions entre les états et les actions simultanément. En inférence, nous développons un nouvel algorithme de décodage parallèle qui prédit les jetons spatiaux redondants dans chaque image en même temps, permettant aux modèles de différentes échelles de générer 4 à 7 images par seconde et d'activer des interactions en temps réel avec les joueurs. En évaluation, nous proposons de nouvelles métriques pour évaluer non seulement la qualité visuelle mais aussi la capacité à suivre les actions lors de la génération de nouvelles scènes, ce qui est crucial pour un modèle de monde. Notre évaluation complète montre l'efficacité de MineWorld, surpassant significativement les modèles de monde basés sur la diffusion open-source de l'état de l'art. Le code et le modèle ont été publiés.

English

World modeling is a crucial task for enabling intelligent agents to effectively interact with humans and operate in dynamic environments. In this work, we propose MineWorld, a real-time interactive world model on Minecraft, an open-ended sandbox game which has been utilized as a common testbed for world modeling. MineWorld is driven by a visual-action autoregressive Transformer, which takes paired game scenes and corresponding actions as input, and generates consequent new scenes following the actions. Specifically, by transforming visual game scenes and actions into discrete token ids with an image tokenizer and an action tokenizer correspondingly, we consist the model input with the concatenation of the two kinds of ids interleaved. The model is then trained with next token prediction to learn rich representations of game states as well as the conditions between states and actions simultaneously. In inference, we develop a novel parallel decoding algorithm that predicts the spatial redundant tokens in each frame at the same time, letting models in different scales generate 4 to 7 frames per second and enabling real-time interactions with game players. In evaluation, we propose new metrics to assess not only visual quality but also the action following capacity when generating new scenes, which is crucial for a world model. Our comprehensive evaluation shows the efficacy of MineWorld, outperforming SoTA open-sourced diffusion based world models significantly. The code and model have been released.