Interaktive Mehrspieler-Weltmodelle mit Repräsentationsautoencodern

Zusammenfassung

Wir stellen das erste Multiplayer-Weltmodell für hochdynamische Umgebungen vor, die von komplexen physikalischen Interaktionen geprägt sind. Während Einzelspieler-Weltmodelle die anderen Akteure als Teil der Umgebung behandeln, konditioniert unseres auf die Aktionsströme mehrerer Akteure und lernt, Änderungen in der Szene dem richtigen Spieler zuzuschreiben und unter beliebigen Kombinationen ihrer Aktionen kohärent zu bleiben. Wir untersuchen dieses Problem im Spiel Rocket League, bei dem Spieler unter schnellen, eng gekoppelten Dynamiken konkurrieren und kooperieren. Trainiert auf 10.000 Stunden Spielzeit, die mit öffentlich verfügbaren Bots gesammelt wurden, erzeugt unser 5-Milliarden-Parameter latentes Diffusionsmodell Vier-Spieler-Matches in Echtzeit und produziert 20 Bilder pro Sekunde auf einer einzigen Nvidia B200 GPU. Obwohl nur auf kurzen Clips trainiert, bleiben seine Rollouts weit über den Trainingshorizont hinaus stabil: Die Verteilungsqualität bleibt über fünf Minuten hinweg konstant, den längsten Horizont, den wir messen, und in der Praxis beobachten wir Rollouts, die über Stunden andauern, ohne Anzeichen eines Zusammenbruchs. Wir untersuchen systematisch die zentralen Designentscheidungen: den Video-Codec, das generative Ziel und das Multiplayer-Konditionierungsschema. Darüber hinaus charakterisieren wir, wie sich das Verhalten mit Modell- und Datenumfang ändert, einschließlich der Fähigkeiten, die entstehen, und der Fehlermodi, die bestehen bleiben. Wir entwickeln weiterhin gezielte Evaluierungen, die das physikalische Verständnis des Modells und nicht nur die visuelle Erscheinung prüfen. Um die fortgesetzte Forschung an Multiplayer-Weltmodellen zu unterstützen, veröffentlichen wir unseren Datensatz, unsere vollständige Trainings- und Inferenzcodebasis sowie eine Live-Demo.

English

We introduce the first multiplayer world model for highly dynamic environments governed by complex physical interactions. Whereas single-player world models treat the other agents as part of the environment, ours conditions on the action streams of multiple agents, learning to attribute changes in the scene to the correct player and to stay coherent under arbitrary combinations of their actions. We study this problem in the game of Rocket League, where players compete and cooperate under fast, tightly coupled dynamics. Trained on 10,000 hours of gameplay collected with publicly available bots, our 5-billion-parameter latent diffusion model generates four-player matches in real time, producing 20 frames per second on a single Nvidia B200 GPU. Although trained only on short clips, its rollouts stay stable far beyond the training horizon: distributional quality holds steady out to five minutes, the longest horizon we measure, and in practice we observe rollouts continuing for hours with no sign of collapse. We systematically investigate the central design choices: the video codec, the generative objective, and the multiplayer conditioning scheme. In addition, we characterize how behavior changes with model and data scale, including the capabilities that emerge and the failure modes that persist. We further develop targeted evaluations that probe the model's physical understanding rather than visual appearance alone. To support continued research on multiplayer world models, we release our dataset, our full training and inference codebase, and a live demo.