AlayaWorld: Generación de Mundos de Video de Largo Horizonte y Jugables

Resumen

Los mundos de juego se han construido tradicionalmente mediante pipelines de producción intensivos en mano de obra, lo que los hace costosos de desarrollar, difíciles de personalizar y caros de modificar después del despliegue. Los avances recientes en modelos de mundos de video ofrecen un paradigma fundamentalmente diferente. En lugar de crear explícitamente cada componente de un entorno virtual, estos modelos sintetizan de forma autorregresiva observaciones futuras condicionadas al estado actual del mundo y a las interacciones del usuario, lo que permite generar mundos jugables en línea. Entrenados tanto en grabaciones de juego como en videos del mundo real, pueden capturar diversas apariencias visuales y dinámicas físicas, abriendo nuevas oportunidades para aplicaciones interactivas más allá de los juegos, incluyendo la inteligencia corpórea. En este artículo, presentamos AlayaWorld, un framework full-stack de código abierto para construir mundos generativos interactivos. AlayaWorld permite la interacción en tiempo real de final abierto, permitiendo a los usuarios navegar libremente y realizar diversas acciones como combates, lanzamiento de hechizos e invocación de monstruos. El framework unifica el desarrollo completo —desde la preparación de datos, la arquitectura de modelos, el entrenamiento de modelos, la aceleración de inferencia y el despliegue— dentro de una arquitectura modular y extensible. Junto con el framework, publicamos pipelines reproducibles, implementaciones de referencia, herramientas de evaluación y documentación exhaustiva, estableciendo una base práctica para futuras investigaciones y aplicaciones en tiempo real de modelos de mundos generativos.

English

Game worlds have traditionally been built through labor-intensive production pipelines, making them costly to develop, difficult to customization, and expensive to modify after deployment. Recent advances in video world models offer a fundamentally different paradigm. Rather than explicitly authoring every component of a virtual environment, these models autoregressively synthesize future observations conditioned on the current world state and user interactions, enabling playable worlds to be generated online. Trained on both gameplay recordings and real-world videos, they can capture diverse visual appearances and physical dynamics, opening new opportunities for interactive applications beyond gaming, including embodied intelligence. In this paper, we present AlayaWorld, a full-stack open-source framework for building interactive generative worlds. AlayaWorld enables open-ended real-time interaction, allowing users to freely navigate and perform diverse actions such as combat, spell casting, and monster summoning. The framework unifies the complete development-from data preparation model architecture, model training, inference acceleration, and deployment-within a modular and extensible architecture. Alongside the framework, we release reproducible pipelines, reference implementations, evaluation tools, and comprehensive documentation, establishing a practical foundation for future research and real-time applications of generative world models.