MineWorld: Ein Echtzeit- und Open-Source-Interaktives Weltmodell auf Minecraft

MineWorld: a Real-Time and Open-Source Interactive World Model on Minecraft

April 11, 2025

Autoren: Junliang Guo, Yang Ye, Tianyu He, Haoyu Wu, Yushu Jiang, Tim Pearce, Jiang Bian

cs.AI

Zusammenfassung

Weltmodellierung ist eine entscheidende Aufgabe, um intelligenten Agenten zu ermöglichen, effektiv mit Menschen zu interagieren und in dynamischen Umgebungen zu operieren. In dieser Arbeit schlagen wir MineWorld vor, ein Echtzeit-interaktives Weltmodell auf Basis von Minecraft, einem offenen Sandbox-Spiel, das häufig als Testumgebung für die Weltmodellierung genutzt wird. MineWorld wird von einem visuell-aktionsbasierten autoregressiven Transformer angetrieben, der gepaarte Spielszenen und entsprechende Aktionen als Eingabe erhält und daraus resultierende neue Szenen nach den Aktionen generiert. Konkret transformieren wir visuelle Spielszenen und Aktionen mithilfe eines Bild-Tokenizers und eines Aktions-Tokenizers in diskrete Token-IDs und bilden die Modelleingabe durch die Verkettung der beiden Arten von IDs in abwechselnder Reihenfolge. Das Modell wird dann mit der Vorhersage des nächsten Tokens trainiert, um sowohl reichhaltige Repräsentationen der Spielzustände als auch die Bedingungen zwischen Zuständen und Aktionen gleichzeitig zu erlernen. Bei der Inferenz entwickeln wir einen neuartigen parallelen Dekodierungsalgorithmus, der die räumlich redundanten Tokens in jedem Frame gleichzeitig vorhersagt, wodurch Modelle unterschiedlicher Größen 4 bis 7 Frames pro Sekunde generieren und Echtzeit-Interaktionen mit Spielern ermöglichen. In der Evaluation schlagen wir neue Metriken vor, die nicht nur die visuelle Qualität, sondern auch die Fähigkeit zur Aktionsfolge bei der Generierung neuer Szenen bewerten, was für ein Weltmodell entscheidend ist. Unsere umfassende Evaluation zeigt die Wirksamkeit von MineWorld, das state-of-the-art, auf Diffusion basierende Open-Source-Weltmodelle deutlich übertrifft. Der Code und das Modell wurden veröffentlicht.

English

World modeling is a crucial task for enabling intelligent agents to effectively interact with humans and operate in dynamic environments. In this work, we propose MineWorld, a real-time interactive world model on Minecraft, an open-ended sandbox game which has been utilized as a common testbed for world modeling. MineWorld is driven by a visual-action autoregressive Transformer, which takes paired game scenes and corresponding actions as input, and generates consequent new scenes following the actions. Specifically, by transforming visual game scenes and actions into discrete token ids with an image tokenizer and an action tokenizer correspondingly, we consist the model input with the concatenation of the two kinds of ids interleaved. The model is then trained with next token prediction to learn rich representations of game states as well as the conditions between states and actions simultaneously. In inference, we develop a novel parallel decoding algorithm that predicts the spatial redundant tokens in each frame at the same time, letting models in different scales generate 4 to 7 frames per second and enabling real-time interactions with game players. In evaluation, we propose new metrics to assess not only visual quality but also the action following capacity when generating new scenes, which is crucial for a world model. Our comprehensive evaluation shows the efficacy of MineWorld, outperforming SoTA open-sourced diffusion based world models significantly. The code and model have been released.