ReactiveGWM: Steuerung von NPCs in reaktiven Spielweltmodellen

Zusammenfassung

Aktuelle Spielweltmodelle simulieren Umgebungen aus einer subjektiven, spielerzentrierten Perspektive. Da Nicht-Spieler-Charaktere (NPCs) jedoch lediglich als Hintergrundpixel behandelt werden, können diese Modelle keine Interaktionen zwischen Spieler und NPC erfassen. In diesem Sinne fungieren sie eher als passive Videorenderer denn als echte Simulations-Engines, da ihnen das physikalische Verständnis fehlt, um handlungsinduzierte NPC-Reaktionen zu modellieren. Wir stellen ReactiveGWM vor, ein reaktives Spielweltmodell, das dynamische Interaktionen zwischen Spieler und NPC synthetisiert. Anstatt alle Interaktionsdynamiken miteinander zu vermischen, entkoppelt ReactiveGWM explizit die Spielersteuerung vom NPC-Verhalten. Spieleraktionen werden über einen leichtgewichtigen additiven Bias in die Diffusions-Backbone eingespeist, während hochrangige NPC-Reaktionen (z. B. Angriff, Kontrolle, Verteidigung) durch Cross-Attention-Module verankert werden. Entscheidend ist, dass diese Module eine spielunabhängige Repräsentation interaktiver Logik erlernen. Dies ermöglicht einen Zero-Shot-Strategietransfer: Unsere erlernten Module können direkt in handelsübliche, nicht annotierte Weltmodelle verschiedener Spiele eingesteckt werden. Dadurch werden sofort steuerbare NPC-Interaktionen ohne domänenspezifisches Nachtraining ermöglicht. In der Evaluierung an zwei Street-Fighter-Spielen bewahrt ReactiveGWM eine feinkörnige Spielersteuerbarkeit und erzielt gleichzeitig eine robuste, promptkonforme NPC-Strategietreue, was den Weg für skalierbare, strategiereiche Interaktionen mit dem NPC ebnet.

English

Current game world models simulate environments from a subjective, player-centric perspective. However, by treating the Non-Player Character (NPC) merely as background pixels, these models cannot capture interactions between the player and NPC. In that sense, they act as passive video renderers rather than real simulation engines, lacking the physical understanding needed to model action-induced NPC reactivities. We introduce ReactiveGWM, a reactive game world model that synthesizes dynamic interactions between the player and NPC. Instead of entangling all interaction dynamics, ReactiveGWM explicitly decouples player controls from NPC behaviors. Player actions are injected into the diffusion backbone via a lightweight additive bias, while high-level NPC responses (e.g., Offense, Control, Defense) are grounded through cross-attention modules. Crucially, these modules learn a game-agnostic representation of interactive logic. This enables zero-shot strategy transfer: our learned modules can be plugged directly into off-the-shelf, unannotated world models of different games. This instantly unlocks steerable NPC interactions without any domain-specific retraining. Evaluated on two Street Fighter games, ReactiveGWM maintains fine-grain player controllability while achieving robust, prompt-aligned NPC strategy adherence, paving the way for scalable, strategy-rich interaction with the NPC.