MineWorld: un modelo de mundo interactivo en tiempo real y de código abierto en Minecraft

MineWorld: a Real-Time and Open-Source Interactive World Model on Minecraft

April 11, 2025

Autores: Junliang Guo, Yang Ye, Tianyu He, Haoyu Wu, Yushu Jiang, Tim Pearce, Jiang Bian

cs.AI

Resumen

La modelización del mundo es una tarea crucial para permitir que los agentes inteligentes interactúen de manera efectiva con los humanos y operen en entornos dinámicos. En este trabajo, proponemos MineWorld, un modelo de mundo interactivo en tiempo real basado en Minecraft, un juego de sandbox de mundo abierto que se ha utilizado como un banco de pruebas común para la modelización del mundo. MineWorld está impulsado por un Transformer autorregresivo visual-accional, que toma como entrada escenas del juego y las acciones correspondientes, y genera nuevas escenas consecuentes siguiendo las acciones. Específicamente, al transformar las escenas visuales del juego y las acciones en identificadores de tokens discretos con un tokenizador de imágenes y un tokenizador de acciones respectivamente, construimos la entrada del modelo con la concatenación de los dos tipos de identificadores intercalados. Luego, el modelo se entrena con la predicción del siguiente token para aprender representaciones ricas de los estados del juego, así como las condiciones entre estados y acciones simultáneamente. En la inferencia, desarrollamos un novedoso algoritmo de decodificación paralela que predice los tokens redundantes espaciales en cada fotograma al mismo tiempo, permitiendo que los modelos de diferentes escalas generen de 4 a 7 fotogramas por segundo y posibilitando interacciones en tiempo real con los jugadores. En la evaluación, proponemos nuevas métricas para evaluar no solo la calidad visual, sino también la capacidad de seguimiento de acciones al generar nuevas escenas, lo cual es crucial para un modelo de mundo. Nuestra evaluación integral muestra la eficacia de MineWorld, superando significativamente a los modelos de mundo basados en difusión de última generación de código abierto. El código y el modelo han sido liberados.

English

World modeling is a crucial task for enabling intelligent agents to effectively interact with humans and operate in dynamic environments. In this work, we propose MineWorld, a real-time interactive world model on Minecraft, an open-ended sandbox game which has been utilized as a common testbed for world modeling. MineWorld is driven by a visual-action autoregressive Transformer, which takes paired game scenes and corresponding actions as input, and generates consequent new scenes following the actions. Specifically, by transforming visual game scenes and actions into discrete token ids with an image tokenizer and an action tokenizer correspondingly, we consist the model input with the concatenation of the two kinds of ids interleaved. The model is then trained with next token prediction to learn rich representations of game states as well as the conditions between states and actions simultaneously. In inference, we develop a novel parallel decoding algorithm that predicts the spatial redundant tokens in each frame at the same time, letting models in different scales generate 4 to 7 frames per second and enabling real-time interactions with game players. In evaluation, we propose new metrics to assess not only visual quality but also the action following capacity when generating new scenes, which is crucial for a world model. Our comprehensive evaluation shows the efficacy of MineWorld, outperforming SoTA open-sourced diffusion based world models significantly. The code and model have been released.