Planificación de Tareas Embebidas con Modelos de Lenguaje a Gran Escala

Embodied Task Planning with Large Language Models

July 4, 2023

Autores: Zhenyu Wu, Ziwei Wang, Xiuwei Xu, Jiwen Lu, Haibin Yan

cs.AI

Resumen

Dotar a los agentes corporizados de sentido común es fundamental para que los robots completen con éxito instrucciones humanas complejas en entornos generales. Los modelos de lenguaje de gran escala (LLM, por sus siglas en inglés) recientes pueden incorporar un conocimiento semántico rico para los agentes en la generación de planes para tareas complejas, aunque carecen de información sobre el mundo real y suelen producir secuencias de acciones inviables. En este artículo, proponemos un Agente de Planificación de Tareas (TaPA, por sus siglas en inglés) en tareas corporizadas para la planificación fundamentada con restricciones de escenas físicas, donde el agente genera planes ejecutables según los objetos existentes en la escena, alineando los LLM con los modelos de percepción visual. Específicamente, primero construimos un conjunto de datos multimodal que contiene tríos de escenas interiores, instrucciones y planes de acción, donde proporcionamos los indicadores diseñados y la lista de objetos existentes en la escena para que GPT-3.5 genere un gran número de instrucciones y las acciones planificadas correspondientes. Los datos generados se utilizan para el ajuste de planes fundamentados de LLM preentrenados. Durante la inferencia, descubrimos los objetos en la escena extendiendo detectores de objetos de vocabulario abierto a imágenes RGB de múltiples vistas recopiladas en diferentes ubicaciones alcanzables. Los resultados experimentales muestran que el plan generado por nuestro marco TaPA puede lograr una tasa de éxito más alta que LLaVA y GPT-3.5 por un margen considerable, lo que indica la practicidad de la planificación de tareas corporizadas en entornos generales y complejos.

English

Equipping embodied agents with commonsense is important for robots to successfully complete complex human instructions in general environments. Recent large language models (LLM) can embed rich semantic knowledge for agents in plan generation of complex tasks, while they lack the information about the realistic world and usually yield infeasible action sequences. In this paper, we propose a TAsk Planing Agent (TaPA) in embodied tasks for grounded planning with physical scene constraint, where the agent generates executable plans according to the existed objects in the scene by aligning LLMs with the visual perception models. Specifically, we first construct a multimodal dataset containing triplets of indoor scenes, instructions and action plans, where we provide the designed prompts and the list of existing objects in the scene for GPT-3.5 to generate a large number of instructions and corresponding planned actions. The generated data is leveraged for grounded plan tuning of pre-trained LLMs. During inference, we discover the objects in the scene by extending open-vocabulary object detectors to multi-view RGB images collected in different achievable locations. Experimental results show that the generated plan from our TaPA framework can achieve higher success rate than LLaVA and GPT-3.5 by a sizable margin, which indicates the practicality of embodied task planning in general and complex environments.