大規模言語モデルを用いた具現化タスクプランニング

Embodied Task Planning with Large Language Models

July 4, 2023

著者: Zhenyu Wu, Ziwei Wang, Xiuwei Xu, Jiwen Lu, Haibin Yan

cs.AI

要旨

エンボディドエージェントに常識を備えることは、一般的な環境において複雑な人間の指示を成功裏に完了するために重要です。最近の大規模言語モデル（LLM）は、複雑なタスクの計画生成においてエージェントに豊富な意味的知識を埋め込むことができますが、現実世界の情報が不足しており、実行不可能なアクションシーケンスを生成することがよくあります。本論文では、物理的なシーン制約を考慮したグラウンディング計画のためのTAsk Planing Agent（TaPA）を提案します。このエージェントは、LLMを視覚知覚モデルと整合させることで、シーン内に存在するオブジェクトに基づいて実行可能な計画を生成します。具体的には、まず、室内シーン、指示、およびアクションプランのトリプレットを含むマルチモーダルデータセットを構築します。ここでは、設計されたプロンプトとシーン内の既存オブジェクトのリストをGPT-3.5に提供し、多数の指示と対応する計画されたアクションを生成します。生成されたデータは、事前学習済みLLMのグラウンディング計画チューニングに活用されます。推論時には、達成可能な異なる位置で収集されたマルチビューRGB画像に対して、オープン語彙オブジェクト検出器を拡張してシーン内のオブジェクトを発見します。実験結果は、我々のTaPAフレームワークから生成された計画が、LLaVAやGPT-3.5よりも大幅に高い成功率を達成できることを示しており、一般的で複雑な環境におけるエンボディドタスク計画の実用性を示しています。

English

Equipping embodied agents with commonsense is important for robots to successfully complete complex human instructions in general environments. Recent large language models (LLM) can embed rich semantic knowledge for agents in plan generation of complex tasks, while they lack the information about the realistic world and usually yield infeasible action sequences. In this paper, we propose a TAsk Planing Agent (TaPA) in embodied tasks for grounded planning with physical scene constraint, where the agent generates executable plans according to the existed objects in the scene by aligning LLMs with the visual perception models. Specifically, we first construct a multimodal dataset containing triplets of indoor scenes, instructions and action plans, where we provide the designed prompts and the list of existing objects in the scene for GPT-3.5 to generate a large number of instructions and corresponding planned actions. The generated data is leveraged for grounded plan tuning of pre-trained LLMs. During inference, we discover the objects in the scene by extending open-vocabulary object detectors to multi-view RGB images collected in different achievable locations. Experimental results show that the generated plan from our TaPA framework can achieve higher success rate than LLaVA and GPT-3.5 by a sizable margin, which indicates the practicality of embodied task planning in general and complex environments.