Pianificazione di Compiti Embodied con Modelli Linguistici di Grande Scala

Embodied Task Planning with Large Language Models

July 4, 2023

Autori: Zhenyu Wu, Ziwei Wang, Xiuwei Xu, Jiwen Lu, Haibin Yan

cs.AI

Abstract

Dotare gli agenti incarnati di buon senso è fondamentale affinché i robot possano completare con successo istruzioni umane complesse in ambienti generici. I recenti modelli linguistici di grandi dimensioni (LLM) possono incorporare una ricca conoscenza semantica per gli agenti nella generazione di piani per compiti complessi, ma mancano di informazioni sul mondo reale e spesso producono sequenze di azioni non fattibili. In questo articolo, proponiamo un Agente per la Pianificazione di Compiti (TaPA) in compiti incarnati per una pianificazione vincolata alla scena fisica, in cui l'agente genera piani eseguibili in base agli oggetti presenti nella scena, allineando gli LLM con i modelli di percezione visiva. Nello specifico, costruiamo prima un dataset multimodale contenente triplette di scene indoor, istruzioni e piani d'azione, fornendo prompt progettati e un elenco di oggetti presenti nella scena a GPT-3.5 per generare un gran numero di istruzioni e azioni pianificate corrispondenti. I dati generati vengono utilizzati per l'ottimizzazione della pianificazione vincolata di LLM pre-addestrati. Durante l'inferenza, individuiamo gli oggetti nella scena estendendo i rilevatori di oggetti a vocabolario aperto a immagini RGB multi-vista raccolte in diverse posizioni raggiungibili. I risultati sperimentali mostrano che i piani generati dal nostro framework TaPA raggiungono un tasso di successo significativamente più alto rispetto a LLaVA e GPT-3.5, dimostrando la praticabilità della pianificazione di compiti incarnati in ambienti generali e complessi.

English

Equipping embodied agents with commonsense is important for robots to successfully complete complex human instructions in general environments. Recent large language models (LLM) can embed rich semantic knowledge for agents in plan generation of complex tasks, while they lack the information about the realistic world and usually yield infeasible action sequences. In this paper, we propose a TAsk Planing Agent (TaPA) in embodied tasks for grounded planning with physical scene constraint, where the agent generates executable plans according to the existed objects in the scene by aligning LLMs with the visual perception models. Specifically, we first construct a multimodal dataset containing triplets of indoor scenes, instructions and action plans, where we provide the designed prompts and the list of existing objects in the scene for GPT-3.5 to generate a large number of instructions and corresponding planned actions. The generated data is leveraged for grounded plan tuning of pre-trained LLMs. During inference, we discover the objects in the scene by extending open-vocabulary object detectors to multi-view RGB images collected in different achievable locations. Experimental results show that the generated plan from our TaPA framework can achieve higher success rate than LLaVA and GPT-3.5 by a sizable margin, which indicates the practicality of embodied task planning in general and complex environments.