ReactiveGWM: Het sturen van NPC's in reactieve spelwereldmodellen

Samenvatting

Huidige spelwereldmodellen simuleren omgevingen vanuit een subjectief, spelergericht perspectief. Echter, door de non-player character (NPC) louter als achtergrondpixels te beschouwen, kunnen deze modellen geen interacties tussen de speler en de NPC vastleggen. In die zin fungeren ze als passieve videorenderers in plaats van echte simulatoren, omdat ze het fysieke begrip missen dat nodig is om actie-geïnduceerde reacties van NPC's te modelleren. We introduceren ReactiveGWM, een reactief spelwereldmodel dat dynamische interacties tussen de speler en de NPC synthetiseert. In plaats van alle interactiedynamieken te verstrengelen, ontkoppelt ReactiveGWM expliciet de besturing van de speler van het gedrag van de NPC. Speleracties worden via een lichtgewicht additieve bias in de diffusie-backbone geïnjecteerd, terwijl hoog-niveau NPC-reacties (bijv. Aanval, Controle, Verdediging) worden verankerd via cross-attention-modules. Cruciaal is dat deze modules een spelagnostische representatie van interactieve logica leren. Dit maakt zero-shot strategieoverdracht mogelijk: onze getrainde modules kunnen direct worden ingepast in kant-en-klare, niet-geannoteerde wereldmodellen van verschillende spellen. Dit maakt direct stuurbare NPC-interacties mogelijk zonder domeinspecifieke hertraining. Geëvalueerd op twee Street Fighter-spellen, behoudt ReactiveGWM fijnmazige bestuurbaarheid voor de speler terwijl het robuuste, prompt-afgestemde naleving van de NPC-strategie bereikt, wat de weg vrijmaakt voor schaalbare, strategierijke interactie met de NPC.

English

Current game world models simulate environments from a subjective, player-centric perspective. However, by treating the Non-Player Character (NPC) merely as background pixels, these models cannot capture interactions between the player and NPC. In that sense, they act as passive video renderers rather than real simulation engines, lacking the physical understanding needed to model action-induced NPC reactivities. We introduce ReactiveGWM, a reactive game world model that synthesizes dynamic interactions between the player and NPC. Instead of entangling all interaction dynamics, ReactiveGWM explicitly decouples player controls from NPC behaviors. Player actions are injected into the diffusion backbone via a lightweight additive bias, while high-level NPC responses (e.g., Offense, Control, Defense) are grounded through cross-attention modules. Crucially, these modules learn a game-agnostic representation of interactive logic. This enables zero-shot strategy transfer: our learned modules can be plugged directly into off-the-shelf, unannotated world models of different games. This instantly unlocks steerable NPC interactions without any domain-specific retraining. Evaluated on two Street Fighter games, ReactiveGWM maintains fine-grain player controllability while achieving robust, prompt-aligned NPC strategy adherence, paving the way for scalable, strategy-rich interaction with the NPC.