Planejamento de Tarefas Corporificadas com Modelos de Linguagem de Grande Escala

Embodied Task Planning with Large Language Models

July 4, 2023

Autores: Zhenyu Wu, Ziwei Wang, Xiuwei Xu, Jiwen Lu, Haibin Yan

cs.AI

Resumo

Equipar agentes corporificados com senso comum é crucial para que robôs completem com sucesso instruções humanas complexas em ambientes gerais. Modelos de linguagem de grande escala (LLM) recentes podem incorporar conhecimento semântico rico para agentes na geração de planos para tarefas complexas, mas carecem de informações sobre o mundo real e frequentemente produzem sequências de ações inviáveis. Neste artigo, propomos um Agente de Planejamento de Tarefas (TaPA) para tarefas corporificadas, visando o planejamento fundamentado com restrições de cena física, onde o agente gera planos executáveis de acordo com os objetos existentes na cena, alinhando LLMs com modelos de percepção visual. Especificamente, primeiro construímos um conjunto de dados multimodal contendo tríades de cenas internas, instruções e planos de ação, onde fornecemos prompts projetados e a lista de objetos existentes na cena para o GPT-3.5 gerar um grande número de instruções e ações planejadas correspondentes. Os dados gerados são utilizados para ajustar o planejamento fundamentado de LLMs pré-treinados. Durante a inferência, descobrimos os objetos na cena estendendo detectores de objetos de vocabulário aberto para imagens RGB multiview coletadas em diferentes locais alcançáveis. Resultados experimentais mostram que o plano gerado por nossa estrutura TaPA pode alcançar uma taxa de sucesso significativamente maior do que LLaVA e GPT-3.5, indicando a praticidade do planejamento de tarefas corporificadas em ambientes gerais e complexos.

English

Equipping embodied agents with commonsense is important for robots to successfully complete complex human instructions in general environments. Recent large language models (LLM) can embed rich semantic knowledge for agents in plan generation of complex tasks, while they lack the information about the realistic world and usually yield infeasible action sequences. In this paper, we propose a TAsk Planing Agent (TaPA) in embodied tasks for grounded planning with physical scene constraint, where the agent generates executable plans according to the existed objects in the scene by aligning LLMs with the visual perception models. Specifically, we first construct a multimodal dataset containing triplets of indoor scenes, instructions and action plans, where we provide the designed prompts and the list of existing objects in the scene for GPT-3.5 to generate a large number of instructions and corresponding planned actions. The generated data is leveraged for grounded plan tuning of pre-trained LLMs. During inference, we discover the objects in the scene by extending open-vocabulary object detectors to multi-view RGB images collected in different achievable locations. Experimental results show that the generated plan from our TaPA framework can achieve higher success rate than LLaVA and GPT-3.5 by a sizable margin, which indicates the practicality of embodied task planning in general and complex environments.