AlayaWorld: Langzeit- und spielbare Videoweltgenerierung

Zusammenfassung

Spielwelten wurden traditionell durch arbeitsintensive Produktionspipelines erstellt, was sie teuer in der Entwicklung, schwierig anzupassen und nach der Bereitstellung kostspielig zu modifizieren macht. Jüngste Fortschritte bei Videoweltmodellen bieten ein grundlegend anderes Paradigma. Anstatt jede Komponente einer virtuellen Umgebung explizit zu erstellen, synthetisieren diese Modelle autoregressiv zukünftige Beobachtungen, die auf dem aktuellen Weltzustand und Benutzerinteraktionen basieren, wodurch spielbare Welten online generiert werden können. Trainiert auf sowohl Spielaufzeichnungen als auch realen Videos, können sie vielfältige visuelle Erscheinungsbilder und physikalische Dynamiken erfassen und eröffnen neue Möglichkeiten für interaktive Anwendungen über Spiele hinaus, einschließlich verkörperter Intelligenz. In diesem Paper präsentieren wir AlayaWorld, ein vollständiges Open-Source-Framework zum Erstellen interaktiver generativer Welten. AlayaWorld ermöglicht offene Echtzeitinteraktionen, die es Benutzern erlauben, frei zu navigieren und verschiedene Aktionen wie Kämpfe, Zaubersprüche und Monsterbeschwörung auszuführen. Das Framework vereinheitlicht die gesamte Entwicklung – von der Datenvorbereitung über die Modellarchitektur, das Modelltraining, die Inferenzbeschleunigung bis hin zur Bereitstellung – innerhalb einer modularen und erweiterbaren Architektur. Neben dem Framework veröffentlichen wir reproduzierbare Pipelines, Referenzimplementierungen, Evaluierungswerkzeuge und umfassende Dokumentation und schaffen damit eine praktische Grundlage für zukünftige Forschung und Echtzeitanwendungen generativer Weltmodelle.

English

Game worlds have traditionally been built through labor-intensive production pipelines, making them costly to develop, difficult to customization, and expensive to modify after deployment. Recent advances in video world models offer a fundamentally different paradigm. Rather than explicitly authoring every component of a virtual environment, these models autoregressively synthesize future observations conditioned on the current world state and user interactions, enabling playable worlds to be generated online. Trained on both gameplay recordings and real-world videos, they can capture diverse visual appearances and physical dynamics, opening new opportunities for interactive applications beyond gaming, including embodied intelligence. In this paper, we present AlayaWorld, a full-stack open-source framework for building interactive generative worlds. AlayaWorld enables open-ended real-time interaction, allowing users to freely navigate and perform diverse actions such as combat, spell casting, and monster summoning. The framework unifies the complete development-from data preparation model architecture, model training, inference acceleration, and deployment-within a modular and extensible architecture. Alongside the framework, we release reproducible pipelines, reference implementations, evaluation tools, and comprehensive documentation, establishing a practical foundation for future research and real-time applications of generative world models.