MineWorld: интерактивная модель мира в реальном времени с открытым исходным кодом на базе Minecraft

MineWorld: a Real-Time and Open-Source Interactive World Model on Minecraft

April 11, 2025

Авторы: Junliang Guo, Yang Ye, Tianyu He, Haoyu Wu, Yushu Jiang, Tim Pearce, Jiang Bian

cs.AI

Аннотация

Моделирование мира является ключевой задачей для создания интеллектуальных агентов, способных эффективно взаимодействовать с людьми и функционировать в динамичных средах. В данной работе мы представляем MineWorld — интерактивную модель мира в реальном времени, разработанную на основе Minecraft, открытой песочницы, которая широко используется как тестовая платформа для моделирования мира. MineWorld основана на визуально-действенном авторегрессивном трансформере, который принимает на вход парные игровые сцены и соответствующие действия, а затем генерирует последующие новые сцены в соответствии с этими действиями. В частности, преобразуя визуальные игровые сцены и действия в дискретные идентификаторы токенов с помощью токенизатора изображений и токенизатора действий соответственно, мы формируем входные данные модели путем конкатенации этих двух типов идентификаторов, чередующихся между собой. Модель обучается с использованием предсказания следующего токена, что позволяет ей одновременно изучать богатые представления игровых состояний и взаимосвязи между состояниями и действиями. На этапе вывода мы разработали новый алгоритм параллельного декодирования, который предсказывает пространственно избыточные токены в каждом кадре одновременно, что позволяет моделям различных масштабов генерировать от 4 до 7 кадров в секунду и обеспечивает взаимодействие с игроками в реальном времени. В рамках оценки мы предлагаем новые метрики, которые оценивают не только визуальное качество, но и способность модели следовать действиям при генерации новых сцен, что является критически важным для модели мира. Наши всесторонние эксперименты демонстрируют эффективность MineWorld, значительно превосходящей современные открытые модели мира, основанные на диффузии. Код и модель были опубликованы.

English

World modeling is a crucial task for enabling intelligent agents to effectively interact with humans and operate in dynamic environments. In this work, we propose MineWorld, a real-time interactive world model on Minecraft, an open-ended sandbox game which has been utilized as a common testbed for world modeling. MineWorld is driven by a visual-action autoregressive Transformer, which takes paired game scenes and corresponding actions as input, and generates consequent new scenes following the actions. Specifically, by transforming visual game scenes and actions into discrete token ids with an image tokenizer and an action tokenizer correspondingly, we consist the model input with the concatenation of the two kinds of ids interleaved. The model is then trained with next token prediction to learn rich representations of game states as well as the conditions between states and actions simultaneously. In inference, we develop a novel parallel decoding algorithm that predicts the spatial redundant tokens in each frame at the same time, letting models in different scales generate 4 to 7 frames per second and enabling real-time interactions with game players. In evaluation, we propose new metrics to assess not only visual quality but also the action following capacity when generating new scenes, which is crucial for a world model. Our comprehensive evaluation shows the efficacy of MineWorld, outperforming SoTA open-sourced diffusion based world models significantly. The code and model have been released.