Los agentes juegan miles de videojuegos en 3D.

Agents Play Thousands of 3D Video Games

March 17, 2025

Autores: Zhongwen Xu, Xianliang Wang, Siyi Li, Tao Yu, Liang Wang, Qiang Fu, Wei Yang

cs.AI

Resumen

Presentamos PORTAL, un marco novedoso para desarrollar agentes de inteligencia artificial capaces de jugar miles de videojuegos en 3D mediante la generación de políticas guiadas por lenguaje. Al transformar problemas de toma de decisiones en tareas de modelado de lenguaje, nuestro enfoque aprovecha los modelos de lenguaje de gran escala (LLMs) para generar árboles de comportamiento representados en un lenguaje específico del dominio (DSL). Este método elimina la carga computacional asociada con los enfoques tradicionales de aprendizaje por refuerzo, preservando al mismo tiempo la profundidad estratégica y la rápida adaptabilidad. Nuestro marco introduce una estructura de política híbrida que combina nodos basados en reglas con componentes de redes neuronales, permitiendo tanto el razonamiento estratégico de alto nivel como el control preciso de bajo nivel. Un mecanismo de doble retroalimentación que incorpora métricas cuantitativas del juego y análisis de modelos de visión-lenguaje facilita la mejora iterativa de las políticas tanto a nivel táctico como estratégico. Las políticas resultantes son instantáneamente implementables, interpretables por humanos y capaces de generalizarse en diversos entornos de juego. Los resultados experimentales demuestran la eficacia de PORTAL en miles de juegos de disparos en primera persona (FPS), mostrando mejoras significativas en la eficiencia de desarrollo, la generalización de políticas y la diversidad de comportamientos en comparación con enfoques tradicionales. PORTAL representa un avance significativo en el desarrollo de IA para juegos, ofreciendo una solución práctica para crear agentes sofisticados que pueden operar en miles de videojuegos comerciales con un mínimo esfuerzo de desarrollo. Los resultados de los experimentos en videojuegos 3D se pueden ver mejor en https://zhongwen.one/projects/portal.

English

We present PORTAL, a novel framework for developing artificial intelligence agents capable of playing thousands of 3D video games through language-guided policy generation. By transforming decision-making problems into language modeling tasks, our approach leverages large language models (LLMs) to generate behavior trees represented in domain-specific language (DSL). This method eliminates the computational burden associated with traditional reinforcement learning approaches while preserving strategic depth and rapid adaptability. Our framework introduces a hybrid policy structure that combines rule-based nodes with neural network components, enabling both high-level strategic reasoning and precise low-level control. A dual-feedback mechanism incorporating quantitative game metrics and vision-language model analysis facilitates iterative policy improvement at both tactical and strategic levels. The resulting policies are instantaneously deployable, human-interpretable, and capable of generalizing across diverse gaming environments. Experimental results demonstrate PORTAL's effectiveness across thousands of first-person shooter (FPS) games, showcasing significant improvements in development efficiency, policy generalization, and behavior diversity compared to traditional approaches. PORTAL represents a significant advancement in game AI development, offering a practical solution for creating sophisticated agents that can operate across thousands of commercial video games with minimal development overhead. Experiment results on the 3D video games are best viewed on https://zhongwen.one/projects/portal .