Verkörperte Aufgabenplanung mit großen Sprachmodellen

Embodied Task Planning with Large Language Models

July 4, 2023

Autoren: Zhenyu Wu, Ziwei Wang, Xiuwei Xu, Jiwen Lu, Haibin Yan

cs.AI

Zusammenfassung

Die Ausstattung verkörperter Agenten mit gesundem Menschenverstand ist entscheidend dafür, dass Roboter komplexe menschliche Anweisungen in allgemeinen Umgebungen erfolgreich ausführen können. Aktuelle große Sprachmodelle (LLMs) können reichhaltiges semantisches Wissen für Agenten bei der Generierung von Plänen für komplexe Aufgaben einbetten, jedoch fehlt ihnen oft die Information über die reale Welt, was häufig zu nicht durchführbaren Aktionssequenzen führt. In diesem Artikel schlagen wir einen Task-Planning-Agenten (TaPA) für verkörperte Aufgaben vor, der eine geerdete Planung mit physikalischen Szenenbeschränkungen ermöglicht, wobei der Agent ausführbare Pläne basierend auf den vorhandenen Objekten in der Szene generiert, indem LLMs mit visuellen Wahrnehmungsmodellen abgeglichen werden. Konkret konstruieren wir zunächst einen multimodalen Datensatz, der Tripel aus Innenraumszenen, Anweisungen und Aktionsplänen enthält, wobei wir entworfene Prompts und eine Liste der vorhandenen Objekte in der Szene für GPT-3.5 bereitstellen, um eine große Anzahl von Anweisungen und entsprechend geplanten Aktionen zu generieren. Die generierten Daten werden für die geerdete Planabstimmung vortrainierter LLMs genutzt. Während der Inferenz entdecken wir die Objekte in der Szene, indem wir Open-Vocabulary-Objekterkennungssysteme auf Multi-View-RGB-Bilder erweitern, die an verschiedenen erreichbaren Positionen gesammelt wurden. Experimentelle Ergebnisse zeigen, dass die von unserem TaPA-Framework generierten Pläne eine deutlich höhere Erfolgsrate erzielen als LLaVA und GPT-3.5, was die Praktikabilität der verkörperten Aufgabenplanung in allgemeinen und komplexen Umgebungen unterstreicht.

English

Equipping embodied agents with commonsense is important for robots to successfully complete complex human instructions in general environments. Recent large language models (LLM) can embed rich semantic knowledge for agents in plan generation of complex tasks, while they lack the information about the realistic world and usually yield infeasible action sequences. In this paper, we propose a TAsk Planing Agent (TaPA) in embodied tasks for grounded planning with physical scene constraint, where the agent generates executable plans according to the existed objects in the scene by aligning LLMs with the visual perception models. Specifically, we first construct a multimodal dataset containing triplets of indoor scenes, instructions and action plans, where we provide the designed prompts and the list of existing objects in the scene for GPT-3.5 to generate a large number of instructions and corresponding planned actions. The generated data is leveraged for grounded plan tuning of pre-trained LLMs. During inference, we discover the objects in the scene by extending open-vocabulary object detectors to multi-view RGB images collected in different achievable locations. Experimental results show that the generated plan from our TaPA framework can achieve higher success rate than LLaVA and GPT-3.5 by a sizable margin, which indicates the practicality of embodied task planning in general and complex environments.