MindAgent: Emergente Spelinteractie

MindAgent: Emergent Gaming Interaction

September 18, 2023

Auteurs: Ran Gong, Qiuyuan Huang, Xiaojian Ma, Hoi Vo, Zane Durante, Yusuke Noda, Zilong Zheng, Song-Chun Zhu, Demetri Terzopoulos, Li Fei-Fei, Jianfeng Gao

cs.AI

Samenvatting

Grote Taalmodellen (LLMs) hebben de capaciteit om complexe planning uit te voeren in een multi-agent systeem en kunnen deze agenten coördineren om geavanceerde taken te voltooien die uitgebreide samenwerking vereisen. Ondanks de introductie van talrijke gaming frameworks, heeft de gemeenschap echter onvoldoende benchmarks voor het bouwen van een algemene infrastructuur voor multi-agent samenwerking die zowel LLM- als mens-NPC-samenwerking omvat. In dit werk stellen we een nieuwe infrastructuur voor - MindAgent - om de emergentie van plannings- en coördinatievaardigheden voor gaming-interactie te evalueren. In het bijzonder maakt onze infrastructuur gebruik van bestaande gaming frameworks om i) begrip van de coördinator voor een multi-agent systeem te vereisen, ii) samen te werken met menselijke spelers via niet-gefine-tunede juiste instructies, en iii) een in-context leren op te zetten met few-shot prompts en feedback. Bovendien introduceren we CUISINEWORLD, een nieuw gaming scenario en gerelateerde benchmark die de efficiëntie van multi-agent samenwerking beoordeelt en meerdere agenten begeleidt die tegelijkertijd het spel spelen. We voeren uitgebreide evaluaties uit met een nieuwe auto-metriek CoS voor het berekenen van de samenwerkingsefficiëntie. Ten slotte kan onze infrastructuur worden ingezet in real-world gaming scenario's in een aangepaste VR-versie van CUISINEWORLD en worden aangepast in het bestaande bredere Minecraft gaming domein. We hopen dat onze bevindingen over LLMs en de nieuwe infrastructuur voor algemene planning en coördinatie kunnen bijdragen aan inzicht in hoe dergelijke vaardigheden kunnen worden verworven door te leren uit grote taalcorpora.

English

Large Language Models (LLMs) have the capacity of performing complex scheduling in a multi-agent system and can coordinate these agents into completing sophisticated tasks that require extensive collaboration. However, despite the introduction of numerous gaming frameworks, the community has insufficient benchmarks towards building general multi-agents collaboration infrastructure that encompass both LLM and human-NPCs collaborations. In this work, we propose a novel infrastructure - MindAgent - to evaluate planning and coordination emergent capabilities for gaming interaction. In particular, our infrastructure leverages existing gaming framework, to i) require understanding of the coordinator for a multi-agent system, ii) collaborate with human players via un-finetuned proper instructions, and iii) establish an in-context learning on few-shot prompt with feedback. Furthermore, we introduce CUISINEWORLD, a new gaming scenario and related benchmark that dispatch a multi-agent collaboration efficiency and supervise multiple agents playing the game simultaneously. We conduct comprehensive evaluations with new auto-metric CoS for calculating the collaboration efficiency. Finally, our infrastructure can be deployed into real-world gaming scenarios in a customized VR version of CUISINEWORLD and adapted in existing broader Minecraft gaming domain. We hope our findings on LLMs and the new infrastructure for general-purpose scheduling and coordination can help shed light on how such skills can be obtained by learning from large language corpora.