MindAgent: Interazione Emergente nei Giochi

MindAgent: Emergent Gaming Interaction

September 18, 2023

Autori: Ran Gong, Qiuyuan Huang, Xiaojian Ma, Hoi Vo, Zane Durante, Yusuke Noda, Zilong Zheng, Song-Chun Zhu, Demetri Terzopoulos, Li Fei-Fei, Jianfeng Gao

cs.AI

Abstract

I Large Language Model (LLM) hanno la capacità di eseguire pianificazioni complesse in un sistema multi-agente e possono coordinare questi agenti per completare compiti sofisticati che richiedono un'ampia collaborazione. Tuttavia, nonostante l'introduzione di numerosi framework di gioco, la comunità manca di benchmark sufficienti per costruire un'infrastruttura generale di collaborazione multi-agente che includa sia la collaborazione tra LLM che quella tra umani e NPC. In questo lavoro, proponiamo una nuova infrastruttura - MindAgent - per valutare le capacità emergenti di pianificazione e coordinamento nell'interazione di gioco. In particolare, la nostra infrastruttura sfrutta framework di gioco esistenti per: i) richiedere la comprensione del coordinatore in un sistema multi-agente, ii) collaborare con giocatori umani tramite istruzioni appropriate non ottimizzate, e iii) stabilire un apprendimento in-context su prompt few-shot con feedback. Inoltre, introduciamo CUISINEWORLD, un nuovo scenario di gioco e relativo benchmark che valuta l'efficienza della collaborazione multi-agente e supervisiona più agenti che giocano simultaneamente. Eseguiamo valutazioni complete con una nuova metrica automatica, CoS, per calcolare l'efficienza della collaborazione. Infine, la nostra infrastruttura può essere implementata in scenari di gioco reali in una versione personalizzata in VR di CUISINEWORLD e adattata al più ampio dominio di gioco di Minecraft. Speriamo che i nostri risultati sugli LLM e la nuova infrastruttura per la pianificazione e il coordinamento di scopi generali possano contribuire a chiarire come tali competenze possano essere acquisite attraverso l'apprendimento da grandi corpora linguistici.

English

Large Language Models (LLMs) have the capacity of performing complex scheduling in a multi-agent system and can coordinate these agents into completing sophisticated tasks that require extensive collaboration. However, despite the introduction of numerous gaming frameworks, the community has insufficient benchmarks towards building general multi-agents collaboration infrastructure that encompass both LLM and human-NPCs collaborations. In this work, we propose a novel infrastructure - MindAgent - to evaluate planning and coordination emergent capabilities for gaming interaction. In particular, our infrastructure leverages existing gaming framework, to i) require understanding of the coordinator for a multi-agent system, ii) collaborate with human players via un-finetuned proper instructions, and iii) establish an in-context learning on few-shot prompt with feedback. Furthermore, we introduce CUISINEWORLD, a new gaming scenario and related benchmark that dispatch a multi-agent collaboration efficiency and supervise multiple agents playing the game simultaneously. We conduct comprehensive evaluations with new auto-metric CoS for calculating the collaboration efficiency. Finally, our infrastructure can be deployed into real-world gaming scenarios in a customized VR version of CUISINEWORLD and adapted in existing broader Minecraft gaming domain. We hope our findings on LLMs and the new infrastructure for general-purpose scheduling and coordination can help shed light on how such skills can be obtained by learning from large language corpora.