MindAgent: Interação Emergente em Jogos

MindAgent: Emergent Gaming Interaction

September 18, 2023

Autores: Ran Gong, Qiuyuan Huang, Xiaojian Ma, Hoi Vo, Zane Durante, Yusuke Noda, Zilong Zheng, Song-Chun Zhu, Demetri Terzopoulos, Li Fei-Fei, Jianfeng Gao

cs.AI

Resumo

Modelos de Linguagem de Grande Escala (LLMs) têm a capacidade de realizar agendamentos complexos em um sistema multiagente e podem coordenar esses agentes para concluir tarefas sofisticadas que exigem colaboração extensiva. No entanto, apesar da introdução de inúmeras estruturas de jogos, a comunidade carece de benchmarks suficientes para a construção de uma infraestrutura geral de colaboração multiagente que abranja tanto a colaboração entre LLMs quanto entre humanos e NPCs. Neste trabalho, propomos uma nova infraestrutura - MindAgent - para avaliar capacidades emergentes de planejamento e coordenação para interação em jogos. Em particular, nossa infraestrutura aproveita estruturas de jogos existentes para: i) exigir a compreensão do coordenador de um sistema multiagente, ii) colaborar com jogadores humanos por meio de instruções adequadas sem ajuste fino, e iii) estabelecer um aprendizado em contexto com poucos exemplos e feedback. Além disso, introduzimos CUISINEWORLD, um novo cenário de jogo e benchmark relacionado que despacha a eficiência de colaboração multiagente e supervisiona múltiplos agentes jogando simultaneamente. Realizamos avaliações abrangentes com uma nova métrica automática, CoS, para calcular a eficiência de colaboração. Por fim, nossa infraestrutura pode ser implantada em cenários de jogos do mundo real em uma versão personalizada de CUISINEWORLD em realidade virtual e adaptada ao domínio mais amplo de jogos do Minecraft. Esperamos que nossas descobertas sobre LLMs e a nova infraestrutura para agendamento e coordenação de propósito geral possam ajudar a esclarecer como tais habilidades podem ser obtidas por meio do aprendizado de grandes corpora de linguagem.

English

Large Language Models (LLMs) have the capacity of performing complex scheduling in a multi-agent system and can coordinate these agents into completing sophisticated tasks that require extensive collaboration. However, despite the introduction of numerous gaming frameworks, the community has insufficient benchmarks towards building general multi-agents collaboration infrastructure that encompass both LLM and human-NPCs collaborations. In this work, we propose a novel infrastructure - MindAgent - to evaluate planning and coordination emergent capabilities for gaming interaction. In particular, our infrastructure leverages existing gaming framework, to i) require understanding of the coordinator for a multi-agent system, ii) collaborate with human players via un-finetuned proper instructions, and iii) establish an in-context learning on few-shot prompt with feedback. Furthermore, we introduce CUISINEWORLD, a new gaming scenario and related benchmark that dispatch a multi-agent collaboration efficiency and supervise multiple agents playing the game simultaneously. We conduct comprehensive evaluations with new auto-metric CoS for calculating the collaboration efficiency. Finally, our infrastructure can be deployed into real-world gaming scenarios in a customized VR version of CUISINEWORLD and adapted in existing broader Minecraft gaming domain. We hope our findings on LLMs and the new infrastructure for general-purpose scheduling and coordination can help shed light on how such skills can be obtained by learning from large language corpora.