MineWorld: een Real-Time en Open-Source Interactief Wereldmodel op Minecraft

MineWorld: a Real-Time and Open-Source Interactive World Model on Minecraft

April 11, 2025

Auteurs: Junliang Guo, Yang Ye, Tianyu He, Haoyu Wu, Yushu Jiang, Tim Pearce, Jiang Bian

cs.AI

Samenvatting

Wereldmodellering is een cruciale taak om intelligente agents in staat te stellen effectief te interacteren met mensen en te opereren in dynamische omgevingen. In dit werk stellen we MineWorld voor, een real-time interactief wereldmodel op Minecraft, een open-ended sandbox-game die vaak wordt gebruikt als een gemeenschappelijke testomgeving voor wereldmodellering. MineWorld wordt aangedreven door een visueel-actie autoregressieve Transformer, die gepaarde gamescènes en bijbehorende acties als invoer neemt en daaropvolgende nieuwe scènes genereert na de acties. Specifiek transformeren we visuele gamescènes en acties in discrete token-ids met respectievelijk een beeld-tokenizer en een actie-tokenizer, en vormen we de modelinvoer door de concatenatie van deze twee soorten ids afgewisseld. Het model wordt vervolgens getraind met next token prediction om rijke representaties van spelstatussen te leren, evenals de voorwaarden tussen statussen en acties tegelijkertijd. Tijdens inferentie ontwikkelen we een nieuw parallel decodeeralgoritme dat de ruimtelijk redundante tokens in elk frame tegelijkertijd voorspelt, waardoor modellen op verschillende schaal 4 tot 7 frames per seconde genereren en real-time interacties met spelers mogelijk maken. Bij evaluatie introduceren we nieuwe metrieken om niet alleen de visuele kwaliteit te beoordelen, maar ook de capaciteit om acties te volgen bij het genereren van nieuwe scènes, wat cruciaal is voor een wereldmodel. Onze uitgebreide evaluatie toont de effectiviteit van MineWorld aan, die state-of-the-art open-source diffuus gebaseerde wereldmodellen significant overtreft. De code en het model zijn vrijgegeven.

English

World modeling is a crucial task for enabling intelligent agents to effectively interact with humans and operate in dynamic environments. In this work, we propose MineWorld, a real-time interactive world model on Minecraft, an open-ended sandbox game which has been utilized as a common testbed for world modeling. MineWorld is driven by a visual-action autoregressive Transformer, which takes paired game scenes and corresponding actions as input, and generates consequent new scenes following the actions. Specifically, by transforming visual game scenes and actions into discrete token ids with an image tokenizer and an action tokenizer correspondingly, we consist the model input with the concatenation of the two kinds of ids interleaved. The model is then trained with next token prediction to learn rich representations of game states as well as the conditions between states and actions simultaneously. In inference, we develop a novel parallel decoding algorithm that predicts the spatial redundant tokens in each frame at the same time, letting models in different scales generate 4 to 7 frames per second and enabling real-time interactions with game players. In evaluation, we propose new metrics to assess not only visual quality but also the action following capacity when generating new scenes, which is crucial for a world model. Our comprehensive evaluation shows the efficacy of MineWorld, outperforming SoTA open-sourced diffusion based world models significantly. The code and model have been released.