MindAgent: 創発的ゲームインタラクション

MindAgent: Emergent Gaming Interaction

September 18, 2023

著者: Ran Gong, Qiuyuan Huang, Xiaojian Ma, Hoi Vo, Zane Durante, Yusuke Noda, Zilong Zheng, Song-Chun Zhu, Demetri Terzopoulos, Li Fei-Fei, Jianfeng Gao

cs.AI

要旨

大規模言語モデル（LLMs）は、マルチエージェントシステムにおける複雑なスケジューリングを実行し、これらのエージェントを調整して、広範な協力を必要とする高度なタスクを完了させる能力を持っています。しかし、数多くのゲームフレームワークが導入されているにもかかわらず、LLMと人間-NPCの協力を包含する一般的なマルチエージェント協力インフラストラクチャを構築するためのベンチマークは不十分です。本研究では、ゲームインタラクションにおける計画と調整の創発能力を評価するための新しいインフラストラクチャ「MindAgent」を提案します。特に、このインフラストラクチャは既存のゲームフレームワークを活用し、i) マルチエージェントシステムの調整者としての理解を要求し、ii) 未調整の適切な指示を通じて人間プレイヤーと協力し、iii) フィードバック付きの少数ショットプロンプトによる文脈内学習を確立します。さらに、マルチエージェント協力の効率性を評価し、複数のエージェントが同時にゲームをプレイすることを監督する新しいゲームシナリオと関連ベンチマーク「CUISINEWORLD」を導入します。協力効率性を計算するための新しい自動メトリックCoSを用いて包括的な評価を実施します。最後に、このインフラストラクチャは、CUISINEWORLDのカスタマイズされたVRバージョンに展開され、既存のMinecraftゲームドメインに適応することができます。LLMsに関する我々の知見と、一般的な目的のスケジューリングと調整のための新しいインフラストラクチャが、大規模な言語コーパスから学習することでそのようなスキルを獲得する方法についての洞察を提供することを期待しています。

English

Large Language Models (LLMs) have the capacity of performing complex scheduling in a multi-agent system and can coordinate these agents into completing sophisticated tasks that require extensive collaboration. However, despite the introduction of numerous gaming frameworks, the community has insufficient benchmarks towards building general multi-agents collaboration infrastructure that encompass both LLM and human-NPCs collaborations. In this work, we propose a novel infrastructure - MindAgent - to evaluate planning and coordination emergent capabilities for gaming interaction. In particular, our infrastructure leverages existing gaming framework, to i) require understanding of the coordinator for a multi-agent system, ii) collaborate with human players via un-finetuned proper instructions, and iii) establish an in-context learning on few-shot prompt with feedback. Furthermore, we introduce CUISINEWORLD, a new gaming scenario and related benchmark that dispatch a multi-agent collaboration efficiency and supervise multiple agents playing the game simultaneously. We conduct comprehensive evaluations with new auto-metric CoS for calculating the collaboration efficiency. Finally, our infrastructure can be deployed into real-world gaming scenarios in a customized VR version of CUISINEWORLD and adapted in existing broader Minecraft gaming domain. We hope our findings on LLMs and the new infrastructure for general-purpose scheduling and coordination can help shed light on how such skills can be obtained by learning from large language corpora.