ReactiveGWM : Pilotage des PNJ dans les Modèles de Mondes de Jeu Réactifs

Résumé

Les modèles de monde de jeu actuels simulent des environnements depuis une perspective subjective et centrée sur le joueur. Cependant, en traitant le Personnage Non-Joueur (PNJ) comme de simples pixels d'arrière-plan, ces modèles ne peuvent pas capturer les interactions entre le joueur et le PNJ. En ce sens, ils agissent comme des rendus vidéo passifs plutôt que comme de véritables moteurs de simulation, dépourvus de la compréhension physique nécessaire pour modéliser les réactivités des PNJ induites par les actions. Nous présentons ReactiveGWM, un modèle de monde de jeu réactif qui synthétise les interactions dynamiques entre le joueur et le PNJ. Au lieu d'entremêler toutes les dynamiques d'interaction, ReactiveGWM découple explicitement les contrôles du joueur des comportements du PNJ. Les actions du joueur sont injectées dans le backbone de diffusion via un biais additif léger, tandis que les réponses de haut niveau du PNJ (par exemple, Attaque, Contrôle, Défense) sont ancrées via des modules d'attention croisée. De manière cruciale, ces modules apprennent une représentation de la logique interactive indépendante du jeu. Cela permet un transfert de stratégie zero-shot : nos modules appris peuvent être directement branchés sur des modèles de monde prêts à l'emploi et non annotés de jeux différents. Ils déverrouillent instantanément des interactions orientables avec le PNJ sans aucun réentraînement spécifique au domaine. Évalué sur deux jeux Street Fighter, ReactiveGWM maintient une contrôlabilité fine du joueur tout en atteignant une adhésion robuste aux stratégies du PNJ, alignée sur les consignes, ouvrant la voie à une interaction évolutive et riche en stratégie avec le PNJ.

English

Current game world models simulate environments from a subjective, player-centric perspective. However, by treating the Non-Player Character (NPC) merely as background pixels, these models cannot capture interactions between the player and NPC. In that sense, they act as passive video renderers rather than real simulation engines, lacking the physical understanding needed to model action-induced NPC reactivities. We introduce ReactiveGWM, a reactive game world model that synthesizes dynamic interactions between the player and NPC. Instead of entangling all interaction dynamics, ReactiveGWM explicitly decouples player controls from NPC behaviors. Player actions are injected into the diffusion backbone via a lightweight additive bias, while high-level NPC responses (e.g., Offense, Control, Defense) are grounded through cross-attention modules. Crucially, these modules learn a game-agnostic representation of interactive logic. This enables zero-shot strategy transfer: our learned modules can be plugged directly into off-the-shelf, unannotated world models of different games. This instantly unlocks steerable NPC interactions without any domain-specific retraining. Evaluated on two Street Fighter games, ReactiveGWM maintains fine-grain player controllability while achieving robust, prompt-aligned NPC strategy adherence, paving the way for scalable, strategy-rich interaction with the NPC.