대형 언어 모델을 활용한 체화적 작업 계획

Embodied Task Planning with Large Language Models

July 4, 2023

저자: Zhenyu Wu, Ziwei Wang, Xiuwei Xu, Jiwen Lu, Haibin Yan

cs.AI

초록

구현된 에이전트에게 상식을 갖추는 것은 로봇이 일반적인 환경에서 복잡한 인간의 지시를 성공적으로 완수하기 위해 중요하다. 최근의 대형 언어 모델(LLM)은 복잡한 작업의 계획 생성에서 에이전트를 위해 풍부한 의미론적 지식을 포함할 수 있지만, 현실 세계에 대한 정보가 부족하여 실행 불가능한 행동 시퀀스를 생성하는 경우가 많다. 본 논문에서는 물리적 장면 제약 조건을 고려한 계획 수립을 위해 구현된 작업에서의 TAsk Planing Agent (TaPA)를 제안한다. 이 에이전트는 LLM을 시각 인식 모델과 정렬하여 장면에 존재하는 객체에 따라 실행 가능한 계획을 생성한다. 구체적으로, 우리는 먼저 실내 장면, 지시 및 행동 계획의 삼중항을 포함하는 다중 모드 데이터셋을 구성한다. 여기서 우리는 GPT-3.5가 대량의 지시와 해당 계획된 행동을 생성할 수 있도록 설계된 프롬프트와 장면에 존재하는 객체 목록을 제공한다. 생성된 데이터는 사전 훈련된 LLM의 계획 수립을 위한 기반으로 활용된다. 추론 과정에서, 우리는 다양한 달성 가능한 위치에서 수집된 다중 뷰 RGB 이미지에 대해 개방형 어휘 객체 탐지기를 확장하여 장면의 객체를 발견한다. 실험 결과는 우리의 TaPA 프레임워크에서 생성된 계획이 LLaVA와 GPT-3.5보다 상당히 높은 성공률을 달성함을 보여주며, 이는 일반적이고 복잡한 환경에서의 구현된 작업 계획의 실용성을 나타낸다.

English

Equipping embodied agents with commonsense is important for robots to successfully complete complex human instructions in general environments. Recent large language models (LLM) can embed rich semantic knowledge for agents in plan generation of complex tasks, while they lack the information about the realistic world and usually yield infeasible action sequences. In this paper, we propose a TAsk Planing Agent (TaPA) in embodied tasks for grounded planning with physical scene constraint, where the agent generates executable plans according to the existed objects in the scene by aligning LLMs with the visual perception models. Specifically, we first construct a multimodal dataset containing triplets of indoor scenes, instructions and action plans, where we provide the designed prompts and the list of existing objects in the scene for GPT-3.5 to generate a large number of instructions and corresponding planned actions. The generated data is leveraged for grounded plan tuning of pre-trained LLMs. During inference, we discover the objects in the scene by extending open-vocabulary object detectors to multi-view RGB images collected in different achievable locations. Experimental results show that the generated plan from our TaPA framework can achieve higher success rate than LLaVA and GPT-3.5 by a sizable margin, which indicates the practicality of embodied task planning in general and complex environments.