Планирование задач с учетом телесности с использованием больших языковых моделей

Embodied Task Planning with Large Language Models

July 4, 2023

Авторы: Zhenyu Wu, Ziwei Wang, Xiuwei Xu, Jiwen Lu, Haibin Yan

cs.AI

Аннотация

Оснащение воплощенных агентов здравым смыслом важно для успешного выполнения роботами сложных человеческих инструкций в общих условиях. Современные крупные языковые модели (LLM) способны встраивать богатые семантические знания для агентов при генерации планов сложных задач, однако они не обладают информацией о реальном мире и часто выдают невыполнимые последовательности действий. В данной статье мы предлагаем агента для планирования задач (TaPA) в воплощенных задачах, ориентированного на планирование с учетом физических ограничений сцены, где агент генерирует выполнимые планы в соответствии с существующими объектами в сцене, согласовывая LLM с моделями визуального восприятия. В частности, мы сначала создаем мультимодальный набор данных, содержащий тройки из внутренних сцен, инструкций и планов действий, где мы предоставляем разработанные промпты и список существующих объектов в сцене для GPT-3.5, чтобы сгенерировать большое количество инструкций и соответствующих запланированных действий. Сгенерированные данные используются для настройки предварительно обученных LLM на основе реальных ограничений. Во время вывода мы обнаруживаем объекты в сцене, расширяя детекторы объектов с открытым словарем до многовидовых RGB-изображений, собранных в различных достижимых локациях. Экспериментальные результаты показывают, что сгенерированный план в рамках нашего TaPA-фреймворка достигает более высокой успешности по сравнению с LLaVA и GPT-3.5 с существенным отрывом, что указывает на практическую применимость планирования воплощенных задач в общих и сложных условиях.

English

Equipping embodied agents with commonsense is important for robots to successfully complete complex human instructions in general environments. Recent large language models (LLM) can embed rich semantic knowledge for agents in plan generation of complex tasks, while they lack the information about the realistic world and usually yield infeasible action sequences. In this paper, we propose a TAsk Planing Agent (TaPA) in embodied tasks for grounded planning with physical scene constraint, where the agent generates executable plans according to the existed objects in the scene by aligning LLMs with the visual perception models. Specifically, we first construct a multimodal dataset containing triplets of indoor scenes, instructions and action plans, where we provide the designed prompts and the list of existing objects in the scene for GPT-3.5 to generate a large number of instructions and corresponding planned actions. The generated data is leveraged for grounded plan tuning of pre-trained LLMs. During inference, we discover the objects in the scene by extending open-vocabulary object detectors to multi-view RGB images collected in different achievable locations. Experimental results show that the generated plan from our TaPA framework can achieve higher success rate than LLaVA and GPT-3.5 by a sizable margin, which indicates the practicality of embodied task planning in general and complex environments.