MindAgent : Interaction ludique émergente

MindAgent: Emergent Gaming Interaction

September 18, 2023

Auteurs: Ran Gong, Qiuyuan Huang, Xiaojian Ma, Hoi Vo, Zane Durante, Yusuke Noda, Zilong Zheng, Song-Chun Zhu, Demetri Terzopoulos, Li Fei-Fei, Jianfeng Gao

cs.AI

Résumé

Les modèles de langage de grande taille (LLMs) possèdent la capacité d'effectuer une planification complexe dans un système multi-agents et peuvent coordonner ces agents pour accomplir des tâches sophistiquées nécessitant une collaboration étendue. Cependant, malgré l'introduction de nombreux frameworks de jeu, la communauté manque de benchmarks pour construire une infrastructure générale de collaboration multi-agents englobant à la fois les collaborations LLM et humains-PNJ. Dans ce travail, nous proposons une nouvelle infrastructure - MindAgent - pour évaluer les capacités émergentes de planification et de coordination dans les interactions de jeu. En particulier, notre infrastructure s'appuie sur des frameworks de jeu existants pour i) exiger une compréhension du coordinateur pour un système multi-agents, ii) collaborer avec des joueurs humains via des instructions appropriées non affinées, et iii) établir un apprentissage en contexte sur des prompts few-shot avec retour d'information. De plus, nous introduisons CUISINEWORLD, un nouveau scénario de jeu et un benchmark associé qui évalue l'efficacité de la collaboration multi-agents et supervise plusieurs agents jouant simultanément. Nous menons des évaluations complètes avec une nouvelle métrique automatique CoS pour calculer l'efficacité de la collaboration. Enfin, notre infrastructure peut être déployée dans des scénarios de jeu réels dans une version VR personnalisée de CUISINEWORLD et adaptée au domaine plus large du jeu Minecraft. Nous espérons que nos découvertes sur les LLMs et la nouvelle infrastructure pour la planification et la coordination à usage général pourront éclairer la manière dont ces compétences peuvent être acquises en apprenant à partir de grands corpus de langage.

English

Large Language Models (LLMs) have the capacity of performing complex scheduling in a multi-agent system and can coordinate these agents into completing sophisticated tasks that require extensive collaboration. However, despite the introduction of numerous gaming frameworks, the community has insufficient benchmarks towards building general multi-agents collaboration infrastructure that encompass both LLM and human-NPCs collaborations. In this work, we propose a novel infrastructure - MindAgent - to evaluate planning and coordination emergent capabilities for gaming interaction. In particular, our infrastructure leverages existing gaming framework, to i) require understanding of the coordinator for a multi-agent system, ii) collaborate with human players via un-finetuned proper instructions, and iii) establish an in-context learning on few-shot prompt with feedback. Furthermore, we introduce CUISINEWORLD, a new gaming scenario and related benchmark that dispatch a multi-agent collaboration efficiency and supervise multiple agents playing the game simultaneously. We conduct comprehensive evaluations with new auto-metric CoS for calculating the collaboration efficiency. Finally, our infrastructure can be deployed into real-world gaming scenarios in a customized VR version of CUISINEWORLD and adapted in existing broader Minecraft gaming domain. We hope our findings on LLMs and the new infrastructure for general-purpose scheduling and coordination can help shed light on how such skills can be obtained by learning from large language corpora.