Belichaamde Taakplanning met Grote Taalmodellen

Embodied Task Planning with Large Language Models

July 4, 2023

Auteurs: Zhenyu Wu, Ziwei Wang, Xiuwei Xu, Jiwen Lu, Haibin Yan

cs.AI

Samenvatting

Het uitrusten van belichaamde agents met gezond verstand is belangrijk om robots complexe menselijke instructies succesvol te laten uitvoeren in algemene omgevingen. Recente grote taalmodellen (LLM) kunnen rijke semantische kennis inbedden voor agents bij het genereren van plannen voor complexe taken, maar ze missen informatie over de realistische wereld en produceren vaak onuitvoerbare actievolgordes. In dit artikel stellen we een TAsk Planing Agent (TaPA) voor bij belichaamde taken voor geaarde planning met fysieke scènebeperkingen, waarbij de agent uitvoerbare plannen genereert op basis van de aanwezige objecten in de scène door LLM's af te stemmen op visuele waarnemingsmodellen. Specifiek construeren we eerst een multimodale dataset met triplets van binnenruimtes, instructies en actieplannen, waarbij we ontworpen prompts en een lijst van aanwezige objecten in de scène aanbieden aan GPT-3.5 om een groot aantal instructies en bijbehorende geplande acties te genereren. De gegenereerde data wordt gebruikt voor het afstemmen van vooraf getrainde LLM's op geaarde planning. Tijdens inferentie ontdekken we de objecten in de scène door open-vocabulary objectdetectors uit te breiden naar multi-view RGB-beelden die zijn verzameld op verschillende bereikbare locaties. Experimentele resultaten tonen aan dat het gegenereerde plan van ons TaPA-raamwerk een hoger slagingspercentage kan behalen dan LLaVA en GPT-3.5 met een aanzienlijke marge, wat de praktische bruikbaarheid van belichaamde taakplanning in algemene en complexe omgevingen aangeeft.

English

Equipping embodied agents with commonsense is important for robots to successfully complete complex human instructions in general environments. Recent large language models (LLM) can embed rich semantic knowledge for agents in plan generation of complex tasks, while they lack the information about the realistic world and usually yield infeasible action sequences. In this paper, we propose a TAsk Planing Agent (TaPA) in embodied tasks for grounded planning with physical scene constraint, where the agent generates executable plans according to the existed objects in the scene by aligning LLMs with the visual perception models. Specifically, we first construct a multimodal dataset containing triplets of indoor scenes, instructions and action plans, where we provide the designed prompts and the list of existing objects in the scene for GPT-3.5 to generate a large number of instructions and corresponding planned actions. The generated data is leveraged for grounded plan tuning of pre-trained LLMs. During inference, we discover the objects in the scene by extending open-vocabulary object detectors to multi-view RGB images collected in different achievable locations. Experimental results show that the generated plan from our TaPA framework can achieve higher success rate than LLaVA and GPT-3.5 by a sizable margin, which indicates the practicality of embodied task planning in general and complex environments.