Agents spelen duizenden 3D-videogames.

Agents Play Thousands of 3D Video Games

March 17, 2025

Auteurs: Zhongwen Xu, Xianliang Wang, Siyi Li, Tao Yu, Liang Wang, Qiang Fu, Wei Yang

cs.AI

Samenvatting

Wij presenteren PORTAL, een nieuw raamwerk voor het ontwikkelen van kunstmatige intelligentie-agenten die in staat zijn om duizenden 3D-videogames te spelen via taalgestuurde beleidsgeneratie. Door besluitvormingsproblemen om te zetten in taalmodelleertaken, maakt onze aanpak gebruik van grote taalmodelen (LLM's) om gedragsbomen te genereren die worden weergegeven in een domeinspecifieke taal (DSL). Deze methode elimineert de rekenkundige last die gepaard gaat met traditionele reinforcement learning-benaderingen, terwijl strategische diepte en snelle aanpassingsvermogen behouden blijven. Ons raamwerk introduceert een hybride beleidsstructuur die regelgebaseerde knooppunten combineert met neurale netwerkcomponenten, waardoor zowel hoogwaardige strategische redenering als precieze laagniveaucontrole mogelijk wordt. Een dual-feedbackmechanisme dat kwantitatieve spelmetrieken en visie-taalmodelanalyse omvat, vergemakkelijkt iteratieve beleidsverbetering op zowel tactisch als strategisch niveau. De resulterende beleidsregels zijn direct inzetbaar, menselijk interpreteerbaar en in staat om te generaliseren over diverse gamingomgevingen. Experimentele resultaten tonen de effectiviteit van PORTAL aan over duizenden first-person shooter (FPS)-games, waarbij significante verbeteringen worden getoond in ontwikkelingsrendement, beleidsgeneralizatie en gedragsdiversiteit in vergelijking met traditionele benaderingen. PORTAL vertegenwoordigt een belangrijke vooruitgang in de ontwikkeling van game-AI en biedt een praktische oplossing voor het creëren van geavanceerde agenten die kunnen opereren in duizenden commerciële videogames met minimale ontwikkelingsoverhead. Experimentele resultaten op de 3D-videogames zijn het beste te bekijken op https://zhongwen.one/projects/portal.

English

We present PORTAL, a novel framework for developing artificial intelligence agents capable of playing thousands of 3D video games through language-guided policy generation. By transforming decision-making problems into language modeling tasks, our approach leverages large language models (LLMs) to generate behavior trees represented in domain-specific language (DSL). This method eliminates the computational burden associated with traditional reinforcement learning approaches while preserving strategic depth and rapid adaptability. Our framework introduces a hybrid policy structure that combines rule-based nodes with neural network components, enabling both high-level strategic reasoning and precise low-level control. A dual-feedback mechanism incorporating quantitative game metrics and vision-language model analysis facilitates iterative policy improvement at both tactical and strategic levels. The resulting policies are instantaneously deployable, human-interpretable, and capable of generalizing across diverse gaming environments. Experimental results demonstrate PORTAL's effectiveness across thousands of first-person shooter (FPS) games, showcasing significant improvements in development efficiency, policy generalization, and behavior diversity compared to traditional approaches. PORTAL represents a significant advancement in game AI development, offering a practical solution for creating sophisticated agents that can operate across thousands of commercial video games with minimal development overhead. Experiment results on the 3D video games are best viewed on https://zhongwen.one/projects/portal .