AlayaWorld: Генерация долгосрочных и интерактивных видеомиров

Аннотация

Игровые миры традиционно создавались с помощью трудоемких производственных конвейеров, что делало их дорогими в разработке, сложными в настройке и требующими значительных затрат на модификацию после развертывания. Недавние достижения в области видеомировых моделей предлагают принципиально иную парадигму. Вместо явного описания каждого компонента виртуальной среды такие модели авторегрессивно синтезируют будущие наблюдения, обусловленные текущим состоянием мира и действиями пользователя, что позволяет генерировать игровые миры в режиме онлайн. Обучаясь как на записях игрового процесса, так и на видео реального мира, они способны улавливать разнообразные визуальные образы и физическую динамику, открывая новые возможности для интерактивных приложений за пределами игр, включая воплощенный интеллект. В данной статье мы представляем AlayaWorld — полностековую платформу с открытым исходным кодом для построения интерактивных генеративных миров. AlayaWorld обеспечивает открытое взаимодействие в реальном времени, позволяя пользователям свободно перемещаться и выполнять разнообразные действия, такие как сражения, наложение заклинаний и призыв монстров. Платформа объединяет полный цикл разработки — от подготовки данных, архитектуры модели, обучения модели, ускорения инференса до развертывания — в рамках модульной и расширяемой архитектуры. Вместе с платформой мы предоставляем воспроизводимые пайплайны, эталонные реализации, инструменты оценки и исчерпывающую документацию, закладывая практическую основу для будущих исследований и приложений генеративных мировых моделей в реальном времени.

English

Game worlds have traditionally been built through labor-intensive production pipelines, making them costly to develop, difficult to customization, and expensive to modify after deployment. Recent advances in video world models offer a fundamentally different paradigm. Rather than explicitly authoring every component of a virtual environment, these models autoregressively synthesize future observations conditioned on the current world state and user interactions, enabling playable worlds to be generated online. Trained on both gameplay recordings and real-world videos, they can capture diverse visual appearances and physical dynamics, opening new opportunities for interactive applications beyond gaming, including embodied intelligence. In this paper, we present AlayaWorld, a full-stack open-source framework for building interactive generative worlds. AlayaWorld enables open-ended real-time interaction, allowing users to freely navigate and perform diverse actions such as combat, spell casting, and monster summoning. The framework unifies the complete development-from data preparation model architecture, model training, inference acceleration, and deployment-within a modular and extensible architecture. Alongside the framework, we release reproducible pipelines, reference implementations, evaluation tools, and comprehensive documentation, establishing a practical foundation for future research and real-time applications of generative world models.