MindAgent: Эмерджентное игровое взаимодействие

MindAgent: Emergent Gaming Interaction

September 18, 2023

Авторы: Ran Gong, Qiuyuan Huang, Xiaojian Ma, Hoi Vo, Zane Durante, Yusuke Noda, Zilong Zheng, Song-Chun Zhu, Demetri Terzopoulos, Li Fei-Fei, Jianfeng Gao

cs.AI

Аннотация

Крупные языковые модели (LLM) обладают способностью выполнять сложное планирование в мультиагентных системах и могут координировать этих агентов для выполнения изощренных задач, требующих обширного взаимодействия. Однако, несмотря на появление множества игровых фреймворков, сообщество испытывает недостаток в эталонных тестах для создания универсальной инфраструктуры мультиагентного взаимодействия, охватывающей как сотрудничество LLM, так и взаимодействие людей с NPC. В данной работе мы предлагаем новую инфраструктуру — MindAgent — для оценки возникающих способностей к планированию и координации в игровом взаимодействии. В частности, наша инфраструктура использует существующие игровые фреймворки, чтобы: i) требовать понимания координатора мультиагентной системы, ii) взаимодействовать с игроками-людьми через ненастроенные инструкции и iii) устанавливать обучение в контексте с использованием нескольких примеров и обратной связи. Кроме того, мы представляем CUISINEWORLD — новый игровой сценарий и связанный с ним эталонный тест, который оценивает эффективность мультиагентного взаимодействия и контролирует одновременную игру нескольких агентов. Мы проводим всесторонние оценки с новой автоматической метрикой CoS для расчета эффективности взаимодействия. Наконец, наша инфраструктура может быть развернута в реальных игровых сценариях в кастомизированной VR-версии CUISINEWORLD и адаптирована в более широкой игровой среде Minecraft. Мы надеемся, что наши выводы о LLM и новая инфраструктура для универсального планирования и координации помогут пролить свет на то, как такие навыки могут быть получены путем обучения на больших языковых корпусах.

English

Large Language Models (LLMs) have the capacity of performing complex scheduling in a multi-agent system and can coordinate these agents into completing sophisticated tasks that require extensive collaboration. However, despite the introduction of numerous gaming frameworks, the community has insufficient benchmarks towards building general multi-agents collaboration infrastructure that encompass both LLM and human-NPCs collaborations. In this work, we propose a novel infrastructure - MindAgent - to evaluate planning and coordination emergent capabilities for gaming interaction. In particular, our infrastructure leverages existing gaming framework, to i) require understanding of the coordinator for a multi-agent system, ii) collaborate with human players via un-finetuned proper instructions, and iii) establish an in-context learning on few-shot prompt with feedback. Furthermore, we introduce CUISINEWORLD, a new gaming scenario and related benchmark that dispatch a multi-agent collaboration efficiency and supervise multiple agents playing the game simultaneously. We conduct comprehensive evaluations with new auto-metric CoS for calculating the collaboration efficiency. Finally, our infrastructure can be deployed into real-world gaming scenarios in a customized VR version of CUISINEWORLD and adapted in existing broader Minecraft gaming domain. We hope our findings on LLMs and the new infrastructure for general-purpose scheduling and coordination can help shed light on how such skills can be obtained by learning from large language corpora.