Агенты играют в тысячи 3D-видеоигр.

Agents Play Thousands of 3D Video Games

March 17, 2025

Авторы: Zhongwen Xu, Xianliang Wang, Siyi Li, Tao Yu, Liang Wang, Qiang Fu, Wei Yang

cs.AI

Аннотация

Мы представляем PORTAL — новый фреймворк для разработки искусственного интеллекта, способного играть в тысячи 3D-видеоигр с помощью генерации политик, управляемой языком. Преобразуя задачи принятия решений в задачи языкового моделирования, наш подход использует большие языковые модели (LLM) для генерации деревьев поведения, представленных на предметно-ориентированном языке (DSL). Этот метод устраняет вычислительные затраты, связанные с традиционными подходами обучения с подкреплением, сохраняя при этом стратегическую глубину и быструю адаптируемость. Наш фреймворк вводит гибридную структуру политик, сочетающую узлы на основе правил с компонентами нейронных сетей, что позволяет осуществлять как стратегическое рассуждение высокого уровня, так и точное управление на низком уровне. Двухканальный механизм обратной связи, включающий количественные игровые метрики и анализ с помощью моделей "визуальный язык", способствует итеративному улучшению политик как на тактическом, так и на стратегическом уровнях. Получаемые политики мгновенно развертываемы, интерпретируемы человеком и способны обобщать знания для работы в различных игровых средах. Экспериментальные результаты демонстрируют эффективность PORTAL в тысячах шутеров от первого лица (FPS), показывая значительные улучшения в эффективности разработки, обобщении политик и разнообразии поведения по сравнению с традиционными подходами. PORTAL представляет собой значительный шаг вперед в разработке игрового ИИ, предлагая практическое решение для создания сложных агентов, способных работать в тысячах коммерческих видеоигр с минимальными затратами на разработку. Результаты экспериментов на 3D-видеоиграх лучше всего просматривать на https://zhongwen.one/projects/portal.

English

We present PORTAL, a novel framework for developing artificial intelligence agents capable of playing thousands of 3D video games through language-guided policy generation. By transforming decision-making problems into language modeling tasks, our approach leverages large language models (LLMs) to generate behavior trees represented in domain-specific language (DSL). This method eliminates the computational burden associated with traditional reinforcement learning approaches while preserving strategic depth and rapid adaptability. Our framework introduces a hybrid policy structure that combines rule-based nodes with neural network components, enabling both high-level strategic reasoning and precise low-level control. A dual-feedback mechanism incorporating quantitative game metrics and vision-language model analysis facilitates iterative policy improvement at both tactical and strategic levels. The resulting policies are instantaneously deployable, human-interpretable, and capable of generalizing across diverse gaming environments. Experimental results demonstrate PORTAL's effectiveness across thousands of first-person shooter (FPS) games, showcasing significant improvements in development efficiency, policy generalization, and behavior diversity compared to traditional approaches. PORTAL represents a significant advancement in game AI development, offering a practical solution for creating sophisticated agents that can operate across thousands of commercial video games with minimal development overhead. Experiment results on the 3D video games are best viewed on https://zhongwen.one/projects/portal .