Les agents jouent à des milliers de jeux vidéo en 3D.

Agents Play Thousands of 3D Video Games

March 17, 2025

Auteurs: Zhongwen Xu, Xianliang Wang, Siyi Li, Tao Yu, Liang Wang, Qiang Fu, Wei Yang

cs.AI

Résumé

Nous présentons PORTAL, un nouveau cadre de développement pour des agents d'intelligence artificielle capables de jouer à des milliers de jeux vidéo en 3D grâce à la génération de politiques guidée par le langage. En transformant les problèmes de prise de décision en tâches de modélisation du langage, notre approche exploite les grands modèles de langage (LLMs) pour générer des arbres de comportement représentés dans un langage spécifique au domaine (DSL). Cette méthode élimine la charge computationnelle associée aux approches traditionnelles d'apprentissage par renforcement tout en préservant la profondeur stratégique et l'adaptabilité rapide. Notre cadre introduit une structure de politique hybride qui combine des nœuds basés sur des règles avec des composants de réseaux neuronaux, permettant à la fois un raisonnement stratégique de haut niveau et un contrôle précis de bas niveau. Un mécanisme de double rétroaction intégrant des métriques quantitatives du jeu et une analyse par modèle vision-langage facilite l'amélioration itérative des politiques aux niveaux tactique et stratégique. Les politiques résultantes sont instantanément déployables, interprétables par l'homme et capables de généraliser à travers divers environnements de jeu. Les résultats expérimentaux démontrent l'efficacité de PORTAL sur des milliers de jeux de tir à la première personne (FPS), montrant des améliorations significatives en termes d'efficacité de développement, de généralisation des politiques et de diversité des comportements par rapport aux approches traditionnelles. PORTAL représente une avancée majeure dans le développement de l'IA pour les jeux, offrant une solution pratique pour créer des agents sophistiqués capables d'opérer à travers des milliers de jeux vidéo commerciaux avec un minimum de surcharge de développement. Les résultats expérimentaux sur les jeux vidéo en 3D sont mieux visualisés sur https://zhongwen.one/projects/portal.

English

We present PORTAL, a novel framework for developing artificial intelligence agents capable of playing thousands of 3D video games through language-guided policy generation. By transforming decision-making problems into language modeling tasks, our approach leverages large language models (LLMs) to generate behavior trees represented in domain-specific language (DSL). This method eliminates the computational burden associated with traditional reinforcement learning approaches while preserving strategic depth and rapid adaptability. Our framework introduces a hybrid policy structure that combines rule-based nodes with neural network components, enabling both high-level strategic reasoning and precise low-level control. A dual-feedback mechanism incorporating quantitative game metrics and vision-language model analysis facilitates iterative policy improvement at both tactical and strategic levels. The resulting policies are instantaneously deployable, human-interpretable, and capable of generalizing across diverse gaming environments. Experimental results demonstrate PORTAL's effectiveness across thousands of first-person shooter (FPS) games, showcasing significant improvements in development efficiency, policy generalization, and behavior diversity compared to traditional approaches. PORTAL represents a significant advancement in game AI development, offering a practical solution for creating sophisticated agents that can operate across thousands of commercial video games with minimal development overhead. Experiment results on the 3D video games are best viewed on https://zhongwen.one/projects/portal .