Gli agenti giocano a migliaia di videogiochi 3D

Agents Play Thousands of 3D Video Games

March 17, 2025

Autori: Zhongwen Xu, Xianliang Wang, Siyi Li, Tao Yu, Liang Wang, Qiang Fu, Wei Yang

cs.AI

Abstract

Presentiamo PORTAL, un nuovo framework per lo sviluppo di agenti di intelligenza artificiale in grado di giocare migliaia di videogiochi 3D attraverso la generazione di politiche guidate dal linguaggio. Trasformando i problemi decisionali in task di modellazione del linguaggio, il nostro approccio sfrutta i grandi modelli linguistici (LLM) per generare alberi comportamentali rappresentati in un linguaggio specifico di dominio (DSL). Questo metodo elimina l'onere computazionale associato ai tradizionali approcci di apprendimento per rinforzo, preservando al contempo la profondità strategica e la rapida adattabilità. Il nostro framework introduce una struttura ibrida delle politiche che combina nodi basati su regole con componenti di reti neurali, consentendo sia il ragionamento strategico di alto livello che il controllo preciso a basso livello. Un meccanismo di feedback duale, che incorpora metriche quantitative del gioco e analisi di modelli visione-linguaggio, facilita il miglioramento iterativo delle politiche a livello sia tattico che strategico. Le politiche risultanti sono immediatamente implementabili, interpretabili dagli esseri umani e capaci di generalizzare in diversi ambienti di gioco. I risultati sperimentali dimostrano l'efficacia di PORTAL in migliaia di giochi sparatutto in prima persona (FPS), mostrando miglioramenti significativi nell'efficienza di sviluppo, nella generalizzazione delle politiche e nella diversità comportamentale rispetto agli approcci tradizionali. PORTAL rappresenta un significativo progresso nello sviluppo dell'IA per i giochi, offrendo una soluzione pratica per creare agenti sofisticati in grado di operare in migliaia di videogiochi commerciali con un sovraccarico di sviluppo minimo. I risultati degli esperimenti sui videogiochi 3D sono meglio visualizzabili su https://zhongwen.one/projects/portal.

English

We present PORTAL, a novel framework for developing artificial intelligence agents capable of playing thousands of 3D video games through language-guided policy generation. By transforming decision-making problems into language modeling tasks, our approach leverages large language models (LLMs) to generate behavior trees represented in domain-specific language (DSL). This method eliminates the computational burden associated with traditional reinforcement learning approaches while preserving strategic depth and rapid adaptability. Our framework introduces a hybrid policy structure that combines rule-based nodes with neural network components, enabling both high-level strategic reasoning and precise low-level control. A dual-feedback mechanism incorporating quantitative game metrics and vision-language model analysis facilitates iterative policy improvement at both tactical and strategic levels. The resulting policies are instantaneously deployable, human-interpretable, and capable of generalizing across diverse gaming environments. Experimental results demonstrate PORTAL's effectiveness across thousands of first-person shooter (FPS) games, showcasing significant improvements in development efficiency, policy generalization, and behavior diversity compared to traditional approaches. PORTAL represents a significant advancement in game AI development, offering a practical solution for creating sophisticated agents that can operate across thousands of commercial video games with minimal development overhead. Experiment results on the 3D video games are best viewed on https://zhongwen.one/projects/portal .