MineWorld: Um Modelo de Mundo Interativo em Tempo Real e de Código Aberto no Minecraft

MineWorld: a Real-Time and Open-Source Interactive World Model on Minecraft

April 11, 2025

Autores: Junliang Guo, Yang Ye, Tianyu He, Haoyu Wu, Yushu Jiang, Tim Pearce, Jiang Bian

cs.AI

Resumo

A modelagem de mundos é uma tarefa crucial para permitir que agentes inteligentes interajam efetivamente com humanos e operem em ambientes dinâmicos. Neste trabalho, propomos o MineWorld, um modelo de mundo interativo em tempo real no Minecraft, um jogo sandbox de mundo aberto que tem sido utilizado como um ambiente comum para testes de modelagem de mundos. O MineWorld é impulsionado por um Transformer autoregressivo visual-ação, que recebe como entrada cenas do jogo e ações correspondentes, e gera novas cenas subsequentes seguindo as ações. Especificamente, ao transformar cenas visuais do jogo e ações em IDs de tokens discretos com um tokenizador de imagem e um tokenizador de ação, respectivamente, compomos a entrada do modelo com a concatenação dos dois tipos de IDs intercalados. O modelo é então treinado com previsão do próximo token para aprender representações ricas dos estados do jogo, bem como as condições entre estados e ações simultaneamente. Na inferência, desenvolvemos um novo algoritmo de decodificação paralela que prevê os tokens espacialmente redundantes em cada quadro ao mesmo tempo, permitindo que modelos em diferentes escalas gerem de 4 a 7 quadros por segundo e possibilitando interações em tempo real com os jogadores. Na avaliação, propomos novas métricas para avaliar não apenas a qualidade visual, mas também a capacidade de seguir ações ao gerar novas cenas, o que é crucial para um modelo de mundo. Nossa avaliação abrangente mostra a eficácia do MineWorld, superando significativamente os modelos de mundo baseados em difusão de última geração (SoTA) de código aberto. O código e o modelo foram disponibilizados.

English

World modeling is a crucial task for enabling intelligent agents to effectively interact with humans and operate in dynamic environments. In this work, we propose MineWorld, a real-time interactive world model on Minecraft, an open-ended sandbox game which has been utilized as a common testbed for world modeling. MineWorld is driven by a visual-action autoregressive Transformer, which takes paired game scenes and corresponding actions as input, and generates consequent new scenes following the actions. Specifically, by transforming visual game scenes and actions into discrete token ids with an image tokenizer and an action tokenizer correspondingly, we consist the model input with the concatenation of the two kinds of ids interleaved. The model is then trained with next token prediction to learn rich representations of game states as well as the conditions between states and actions simultaneously. In inference, we develop a novel parallel decoding algorithm that predicts the spatial redundant tokens in each frame at the same time, letting models in different scales generate 4 to 7 frames per second and enabling real-time interactions with game players. In evaluation, we propose new metrics to assess not only visual quality but also the action following capacity when generating new scenes, which is crucial for a world model. Our comprehensive evaluation shows the efficacy of MineWorld, outperforming SoTA open-sourced diffusion based world models significantly. The code and model have been released.