エージェントが数千の3Dビデオゲームをプレイする

Agents Play Thousands of 3D Video Games

March 17, 2025

著者: Zhongwen Xu, Xianliang Wang, Siyi Li, Tao Yu, Liang Wang, Qiang Fu, Wei Yang

cs.AI

要旨

我々は、言語誘導型ポリシー生成を通じて数千の3Dビデオゲームをプレイ可能な人工知能エージェントを開発するための新規フレームワーク「PORTAL」を提案する。意思決定問題を言語モデリングタスクに変換することで、本アプローチは大規模言語モデル（LLM）を活用し、ドメイン固有言語（DSL）で表現されたビヘイビアツリーを生成する。この手法は、従来の強化学習アプローチに伴う計算負荷を排除しつつ、戦略的深さと迅速な適応性を維持する。本フレームワークは、ルールベースのノードとニューラルネットワークコンポーネントを組み合わせたハイブリッドポリシー構造を導入し、高レベルの戦略的推論と精密な低レベル制御の両方を可能にする。定量的ゲーム指標と視覚言語モデル分析を組み込んだデュアルフィードバックメカニズムにより、戦術的および戦略的レベルでの反復的ポリシー改善を促進する。結果として得られるポリシーは即座に展開可能で、人間が解釈可能であり、多様なゲーム環境にわたる汎化能力を有する。実験結果は、PORTALが数千のファーストパーソンシューティング（FPS）ゲームにわたる有効性を示し、従来のアプローチと比較して開発効率、ポリシー汎化、行動多様性において大幅な改善を実証する。PORTALは、最小限の開発オーバーヘッドで数千の商用ビデオゲームにわたって動作する洗練されたエージェントを作成するための実用的なソリューションを提供し、ゲームAI開発における重要な進展を表している。3Dビデオゲームに関する実験結果は、https://zhongwen.one/projects/portal で最適に閲覧できる。

English

We present PORTAL, a novel framework for developing artificial intelligence agents capable of playing thousands of 3D video games through language-guided policy generation. By transforming decision-making problems into language modeling tasks, our approach leverages large language models (LLMs) to generate behavior trees represented in domain-specific language (DSL). This method eliminates the computational burden associated with traditional reinforcement learning approaches while preserving strategic depth and rapid adaptability. Our framework introduces a hybrid policy structure that combines rule-based nodes with neural network components, enabling both high-level strategic reasoning and precise low-level control. A dual-feedback mechanism incorporating quantitative game metrics and vision-language model analysis facilitates iterative policy improvement at both tactical and strategic levels. The resulting policies are instantaneously deployable, human-interpretable, and capable of generalizing across diverse gaming environments. Experimental results demonstrate PORTAL's effectiveness across thousands of first-person shooter (FPS) games, showcasing significant improvements in development efficiency, policy generalization, and behavior diversity compared to traditional approaches. PORTAL represents a significant advancement in game AI development, offering a practical solution for creating sophisticated agents that can operate across thousands of commercial video games with minimal development overhead. Experiment results on the 3D video games are best viewed on https://zhongwen.one/projects/portal .