AlayaWorld: Geração de Mundos em Vídeo com Horizonte Longo e Interatividade

Resumo

Os mundos dos jogos tradicionalmente foram construídos por meio de pipelines de produção intensivos em mão de obra, tornando-os caros para desenvolver, difíceis de personalizar e dispendiosos para modificar após a implantação. Avanços recentes em modelos de mundo de vídeo oferecem um paradigma fundamentalmente diferente. Em vez de criar explicitamente cada componente de um ambiente virtual, esses modelos sintetizam autoregressivamente observações futuras condicionadas ao estado atual do mundo e às interações do usuário, permitindo que mundos jogáveis sejam gerados online. Treinados tanto em gravações de jogos quanto em vídeos do mundo real, eles podem capturar diversas aparências visuais e dinâmicas físicas, abrindo novas oportunidades para aplicações interativas além dos jogos, incluindo inteligência incorporada. Neste artigo, apresentamos o AlayaWorld, um framework full-stack de código aberto para construção de mundos generativos interativos. O AlayaWorld permite interação em tempo real e de fim aberto, permitindo que os usuários naveguem livremente e realizem diversas ações, como combate, lançamento de feitiços e invocação de monstros. O framework unifica o desenvolvimento completo — desde a preparação de dados, arquitetura de modelo, treinamento de modelo, aceleração de inferência e implantação — dentro de uma arquitetura modular e extensível. Juntamente com o framework, disponibilizamos pipelines reproduzíveis, implementações de referência, ferramentas de avaliação e documentação abrangente, estabelecendo uma base prática para futuras pesquisas e aplicações em tempo real de modelos de mundo generativos.

English

Game worlds have traditionally been built through labor-intensive production pipelines, making them costly to develop, difficult to customization, and expensive to modify after deployment. Recent advances in video world models offer a fundamentally different paradigm. Rather than explicitly authoring every component of a virtual environment, these models autoregressively synthesize future observations conditioned on the current world state and user interactions, enabling playable worlds to be generated online. Trained on both gameplay recordings and real-world videos, they can capture diverse visual appearances and physical dynamics, opening new opportunities for interactive applications beyond gaming, including embodied intelligence. In this paper, we present AlayaWorld, a full-stack open-source framework for building interactive generative worlds. AlayaWorld enables open-ended real-time interaction, allowing users to freely navigate and perform diverse actions such as combat, spell casting, and monster summoning. The framework unifies the complete development-from data preparation model architecture, model training, inference acceleration, and deployment-within a modular and extensible architecture. Alongside the framework, we release reproducible pipelines, reference implementations, evaluation tools, and comprehensive documentation, establishing a practical foundation for future research and real-time applications of generative world models.