Coöperatieve belichaamde agenten modulair bouwen met grote taalmodellen

Building Cooperative Embodied Agents Modularly with Large Language Models

July 5, 2023

Auteurs: Hongxin Zhang, Weihua Du, Jiaming Shan, Qinhong Zhou, Yilun Du, Joshua B. Tenenbaum, Tianmin Shu, Chuang Gan

cs.AI

Samenvatting

Grote Taalmodellen (LLMs) hebben indrukwekkende planningsvaardigheden getoond in taken met één agent in verschillende domeinen. Hun vermogen tot planning en communicatie in samenwerking tussen meerdere agents blijft echter onduidelijk, hoewel dit cruciale vaardigheden zijn voor intelligente, belichaamde agents. In dit artikel presenteren we een nieuw raamwerk dat LLMs gebruikt voor samenwerking tussen meerdere agents en testen we dit in verschillende belichaamde omgevingen. Ons raamwerk stelt belichaamde agents in staat om te plannen, te communiceren en samen te werken met andere belichaamde agents of mensen om langetermijntaken efficiënt uit te voeren. We laten zien dat recente LLMs, zoals GPT-4, sterke op planning gebaseerde methoden kunnen overtreffen en effectieve communicatie kunnen vertonen met behulp van ons raamwerk, zonder dat fine-tuning of few-shot prompting nodig is. We ontdekken ook dat LLM-gebaseerde agents die in natuurlijke taal communiceren, meer vertrouwen kunnen winnen en effectiever kunnen samenwerken met mensen. Ons onderzoek benadrukt het potentieel van LLMs voor belichaamde AI en legt de basis voor toekomstig onderzoek naar samenwerking tussen meerdere agents. Video's zijn te vinden op de projectwebsite https://vis-www.cs.umass.edu/Co-LLM-Agents/.

English

Large Language Models (LLMs) have demonstrated impressive planning abilities in single-agent embodied tasks across various domains. However, their capacity for planning and communication in multi-agent cooperation remains unclear, even though these are crucial skills for intelligent embodied agents. In this paper, we present a novel framework that utilizes LLMs for multi-agent cooperation and tests it in various embodied environments. Our framework enables embodied agents to plan, communicate, and cooperate with other embodied agents or humans to accomplish long-horizon tasks efficiently. We demonstrate that recent LLMs, such as GPT-4, can surpass strong planning-based methods and exhibit emergent effective communication using our framework without requiring fine-tuning or few-shot prompting. We also discover that LLM-based agents that communicate in natural language can earn more trust and cooperate more effectively with humans. Our research underscores the potential of LLMs for embodied AI and lays the foundation for future research in multi-agent cooperation. Videos can be found on the project website https://vis-www.cs.umass.edu/Co-LLM-Agents/.