Planification de tâches incarnées avec des modèles de langage à grande échelle

Embodied Task Planning with Large Language Models

July 4, 2023

Auteurs: Zhenyu Wu, Ziwei Wang, Xiuwei Xu, Jiwen Lu, Haibin Yan

cs.AI

Résumé

Doterr les agents incarnés de bon sens est essentiel pour permettre aux robots d'exécuter avec succès des instructions humaines complexes dans des environnements généraux. Les récents modèles de langage de grande taille (LLM) peuvent intégrer des connaissances sémantiques riches pour les agents dans la génération de plans pour des tâches complexes, mais ils manquent d'informations sur le monde réel et produisent souvent des séquences d'actions irréalisables. Dans cet article, nous proposons un agent de planification de tâches (TaPA) pour les tâches incarnées, permettant une planification ancrée avec des contraintes de scène physique, où l'agent génère des plans exécutables en fonction des objets présents dans la scène en alignant les LLM avec les modèles de perception visuelle. Plus précisément, nous construisons d'abord un ensemble de données multimodal contenant des triplets de scènes intérieures, d'instructions et de plans d'action, où nous fournissons des prompts conçus et la liste des objets existants dans la scène pour que GPT-3.5 génère un grand nombre d'instructions et d'actions planifiées correspondantes. Les données générées sont utilisées pour l'ajustement de plans ancrés des LLM pré-entraînés. Pendant l'inférence, nous détectons les objets dans la scène en étendant les détecteurs d'objets à vocabulaire ouvert aux images RGB multi-vues collectées à différents emplacements accessibles. Les résultats expérimentaux montrent que les plans générés par notre cadre TaPA atteignent un taux de réussite significativement plus élevé que LLaVA et GPT-3.5, ce qui démontre la praticabilité de la planification de tâches incarnées dans des environnements généraux et complexes.

English

Equipping embodied agents with commonsense is important for robots to successfully complete complex human instructions in general environments. Recent large language models (LLM) can embed rich semantic knowledge for agents in plan generation of complex tasks, while they lack the information about the realistic world and usually yield infeasible action sequences. In this paper, we propose a TAsk Planing Agent (TaPA) in embodied tasks for grounded planning with physical scene constraint, where the agent generates executable plans according to the existed objects in the scene by aligning LLMs with the visual perception models. Specifically, we first construct a multimodal dataset containing triplets of indoor scenes, instructions and action plans, where we provide the designed prompts and the list of existing objects in the scene for GPT-3.5 to generate a large number of instructions and corresponding planned actions. The generated data is leveraged for grounded plan tuning of pre-trained LLMs. During inference, we discover the objects in the scene by extending open-vocabulary object detectors to multi-view RGB images collected in different achievable locations. Experimental results show that the generated plan from our TaPA framework can achieve higher success rate than LLaVA and GPT-3.5 by a sizable margin, which indicates the practicality of embodied task planning in general and complex environments.