에이전트가 수천 개의 3D 비디오 게임을 플레이한다

초록

우리는 언어 기반 정책 생성을 통해 수천 가지의 3D 비디오 게임을 플레이할 수 있는 인공지능 에이전트를 개발하기 위한 새로운 프레임워크인 PORTAL을 소개한다. 의사결정 문제를 언어 모델링 작업으로 변환함으로써, 이 접근법은 대규모 언어 모델(LLMs)을 활용하여 도메인 특화 언어(DSL)로 표현된 행동 트리를 생성한다. 이 방법은 전통적인 강화 학습 접근법과 관련된 계산 부담을 제거하면서도 전략적 깊이와 빠른 적응성을 유지한다. 우리의 프레임워크는 규칙 기반 노드와 신경망 구성 요소를 결합한 하이브리드 정책 구조를 도입하여, 높은 수준의 전략적 추론과 정밀한 저수준 제어를 모두 가능하게 한다. 양적 게임 지표와 시각-언어 모델 분석을 통합한 이중 피드백 메커니즘은 전술적 및 전략적 수준에서 반복적인 정책 개선을 촉진한다. 결과적으로 생성된 정책은 즉시 배포 가능하며, 인간이 해석할 수 있고, 다양한 게임 환경에서 일반화할 수 있다. 실험 결과는 PORTAL이 수천 가지의 1인칭 슈팅 게임(FPS)에서 효과적임을 보여주며, 전통적인 접근법에 비해 개발 효율성, 정책 일반화, 행동 다양성에서 상당한 개선을 입증한다. PORTAL은 게임 AI 개발에서 중요한 진전을 나타내며, 최소한의 개발 비용으로 수천 가지의 상용 비디오 게임에서 작동할 수 있는 정교한 에이전트를 생성하기 위한 실용적인 솔루션을 제공한다. 3D 비디오 게임에 대한 실험 결과는 https://zhongwen.one/projects/portal 에서 최적의 상태로 확인할 수 있다.

English

We present PORTAL, a novel framework for developing artificial intelligence agents capable of playing thousands of 3D video games through language-guided policy generation. By transforming decision-making problems into language modeling tasks, our approach leverages large language models (LLMs) to generate behavior trees represented in domain-specific language (DSL). This method eliminates the computational burden associated with traditional reinforcement learning approaches while preserving strategic depth and rapid adaptability. Our framework introduces a hybrid policy structure that combines rule-based nodes with neural network components, enabling both high-level strategic reasoning and precise low-level control. A dual-feedback mechanism incorporating quantitative game metrics and vision-language model analysis facilitates iterative policy improvement at both tactical and strategic levels. The resulting policies are instantaneously deployable, human-interpretable, and capable of generalizing across diverse gaming environments. Experimental results demonstrate PORTAL's effectiveness across thousands of first-person shooter (FPS) games, showcasing significant improvements in development efficiency, policy generalization, and behavior diversity compared to traditional approaches. PORTAL represents a significant advancement in game AI development, offering a practical solution for creating sophisticated agents that can operate across thousands of commercial video games with minimal development overhead. Experiment results on the 3D video games are best viewed on https://zhongwen.one/projects/portal .

에이전트가 수천 개의 3D 비디오 게임을 플레이한다

Agents Play Thousands of 3D Video Games

초록

Support