AlayaWorld : Génération de mondes vidéo jouables et à long horizon

Résumé

Les mondes de jeu ont traditionnellement été construits par le biais de pipelines de production à forte intensité de main-d'œuvre, ce qui les rend coûteux à développer, difficiles à personnaliser et onéreux à modifier après déploiement. Les récentes avancées dans les modèles de mondes vidéo offrent un paradigme fondamentalement différent. Plutôt que d'élaborer explicitement chaque composant d'un environnement virtuel, ces modèles synthétisent de manière autorégressive les observations futures conditionnées par l'état actuel du monde et les interactions des utilisateurs, permettant ainsi de générer des mondes jouables en ligne. Entraînés à la fois sur des enregistrements de gameplay et des vidéos du monde réel, ils peuvent capturer diverses apparences visuelles et dynamiques physiques, ouvrant de nouvelles opportunités pour des applications interactives au-delà du jeu vidéo, y compris l'intelligence incarnée. Dans cet article, nous présentons AlayaWorld, un cadre open-source complet (full-stack) pour la construction de mondes génératifs interactifs. AlayaWorld permet une interaction en temps réel ouverte, offrant aux utilisateurs la liberté de naviguer et d'effectuer diverses actions telles que le combat, le lancement de sorts et l'invocation de monstres. Le cadre unifie l'ensemble du développement — de la préparation des données à l'architecture du modèle, l'entraînement du modèle, l'accélération de l'inférence et le déploiement — au sein d'une architecture modulaire et extensible. Parallèlement au cadre, nous publions des pipelines reproductibles, des implémentations de référence, des outils d'évaluation et une documentation complète, établissant ainsi une base pratique pour la recherche future et les applications en temps réel des modèles de mondes génératifs.

English

Game worlds have traditionally been built through labor-intensive production pipelines, making them costly to develop, difficult to customization, and expensive to modify after deployment. Recent advances in video world models offer a fundamentally different paradigm. Rather than explicitly authoring every component of a virtual environment, these models autoregressively synthesize future observations conditioned on the current world state and user interactions, enabling playable worlds to be generated online. Trained on both gameplay recordings and real-world videos, they can capture diverse visual appearances and physical dynamics, opening new opportunities for interactive applications beyond gaming, including embodied intelligence. In this paper, we present AlayaWorld, a full-stack open-source framework for building interactive generative worlds. AlayaWorld enables open-ended real-time interaction, allowing users to freely navigate and perform diverse actions such as combat, spell casting, and monster summoning. The framework unifies the complete development-from data preparation model architecture, model training, inference acceleration, and deployment-within a modular and extensible architecture. Alongside the framework, we release reproducible pipelines, reference implementations, evaluation tools, and comprehensive documentation, establishing a practical foundation for future research and real-time applications of generative world models.