Agentes jogam milhares de jogos de vídeo em 3D

Agents Play Thousands of 3D Video Games

March 17, 2025

Autores: Zhongwen Xu, Xianliang Wang, Siyi Li, Tao Yu, Liang Wang, Qiang Fu, Wei Yang

cs.AI

Resumo

Apresentamos o PORTAL, uma estrutura inovadora para o desenvolvimento de agentes de inteligência artificial capazes de jogar milhares de videogames 3D por meio da geração de políticas guiadas por linguagem. Ao transformar problemas de tomada de decisão em tarefas de modelagem de linguagem, nossa abordagem aproveita modelos de linguagem de grande escala (LLMs) para gerar árvores de comportamento representadas em uma linguagem específica de domínio (DSL). Esse método elimina o custo computacional associado às abordagens tradicionais de aprendizado por reforço, preservando a profundidade estratégica e a rápida adaptabilidade. Nossa estrutura introduz uma estrutura de política híbrida que combina nós baseados em regras com componentes de redes neurais, permitindo tanto o raciocínio estratégico de alto nível quanto o controle preciso de baixo nível. Um mecanismo de feedback duplo, que incorpora métricas quantitativas do jogo e análises de modelos de visão-linguagem, facilita a melhoria iterativa das políticas em níveis táticos e estratégicos. As políticas resultantes são instantaneamente implantáveis, interpretáveis por humanos e capazes de generalizar em diversos ambientes de jogo. Resultados experimentais demonstram a eficácia do PORTAL em milhares de jogos de tiro em primeira pessoa (FPS), mostrando melhorias significativas na eficiência de desenvolvimento, generalização de políticas e diversidade de comportamentos em comparação com abordagens tradicionais. O PORTAL representa um avanço significativo no desenvolvimento de IA para jogos, oferecendo uma solução prática para a criação de agentes sofisticados que podem operar em milhares de videogames comerciais com um custo mínimo de desenvolvimento. Os resultados dos experimentos em videogames 3D podem ser visualizados em https://zhongwen.one/projects/portal.

English

We present PORTAL, a novel framework for developing artificial intelligence agents capable of playing thousands of 3D video games through language-guided policy generation. By transforming decision-making problems into language modeling tasks, our approach leverages large language models (LLMs) to generate behavior trees represented in domain-specific language (DSL). This method eliminates the computational burden associated with traditional reinforcement learning approaches while preserving strategic depth and rapid adaptability. Our framework introduces a hybrid policy structure that combines rule-based nodes with neural network components, enabling both high-level strategic reasoning and precise low-level control. A dual-feedback mechanism incorporating quantitative game metrics and vision-language model analysis facilitates iterative policy improvement at both tactical and strategic levels. The resulting policies are instantaneously deployable, human-interpretable, and capable of generalizing across diverse gaming environments. Experimental results demonstrate PORTAL's effectiveness across thousands of first-person shooter (FPS) games, showcasing significant improvements in development efficiency, policy generalization, and behavior diversity compared to traditional approaches. PORTAL represents a significant advancement in game AI development, offering a practical solution for creating sophisticated agents that can operate across thousands of commercial video games with minimal development overhead. Experiment results on the 3D video games are best viewed on https://zhongwen.one/projects/portal .