AlayaWorld: Langetermijn- en speelbare videowereldgeneratie

Samenvatting

Gamewerelden zijn traditioneel opgebouwd via arbeidsintensieve productiepijplijnen, wat ze kostbaar maakt in ontwikkeling, moeilijk aanpasbaar en duur om na implementatie te wijzigen. Recente ontwikkelingen in videowereldmodellen bieden een fundamenteel ander paradigma. In plaats van elk onderdeel van een virtuele omgeving expliciet te ontwerpen, synthetiseren deze modellen autoregressief toekomstige observaties, gebaseerd op de huidige wereldtoestand en gebruikersinteracties, waardoor speelbare werelden online kunnen worden gegenereerd. Getraind op zowel gameplay-opnames als echte video's kunnen ze diverse visuele verschijningen en fysieke dynamieken vastleggen, wat nieuwe mogelijkheden opent voor interactieve toepassingen buiten gaming, waaronder belichaamde intelligentie. In dit artikel presenteren we AlayaWorld, een full-stack open-source raamwerk voor het bouwen van interactieve generatieve werelden. AlayaWorld maakt open-einde realtime interactie mogelijk, waardoor gebruikers vrij kunnen navigeren en diverse acties kunnen uitvoeren, zoals vechten, spreuken uitspreken en monsters oproepen. Het raamwerk verenigt de volledige ontwikkeling – van datavoorbereiding, modelarchitectuur, modeltraining, inferentieversnelling tot implementatie – binnen een modulaire en uitbreidbare architectuur. Samen met het raamwerk brengen we reproduceerbare pijplijnen, referentie-implementaties, evaluatietools en uitgebreide documentatie uit, waarmee we een praktische basis leggen voor toekomstig onderzoek en realtime toepassingen van generatieve wereldmodellen.

English

Game worlds have traditionally been built through labor-intensive production pipelines, making them costly to develop, difficult to customization, and expensive to modify after deployment. Recent advances in video world models offer a fundamentally different paradigm. Rather than explicitly authoring every component of a virtual environment, these models autoregressively synthesize future observations conditioned on the current world state and user interactions, enabling playable worlds to be generated online. Trained on both gameplay recordings and real-world videos, they can capture diverse visual appearances and physical dynamics, opening new opportunities for interactive applications beyond gaming, including embodied intelligence. In this paper, we present AlayaWorld, a full-stack open-source framework for building interactive generative worlds. AlayaWorld enables open-ended real-time interaction, allowing users to freely navigate and perform diverse actions such as combat, spell casting, and monster summoning. The framework unifies the complete development-from data preparation model architecture, model training, inference acceleration, and deployment-within a modular and extensible architecture. Alongside the framework, we release reproducible pipelines, reference implementations, evaluation tools, and comprehensive documentation, establishing a practical foundation for future research and real-time applications of generative world models.