REFLECT: ロボットの経験を要約し、失敗の説明と修正を行う

要旨

失敗した実行を自動的に検出し分析する能力は、説明可能で堅牢なロボットシステムにとって極めて重要です。近年、大規模言語モデル（LLM）はテキスト入力に対する強力な常識推論能力を示しています。ロボットの失敗説明にLLMの力を活用するため、我々はREFLECTというフレームワークを提案します。このフレームワークは、マルチセンサーデータをロボットの過去の経験の階層的な要約に変換し、段階的な失敗説明アルゴリズムを用いてLLMに問い合わせます。説明に基づいて、失敗修正プランナーがロボットが失敗を修正しタスクを完了するための実行可能な計画を生成します。このフレームワークを体系的に評価するため、我々はRoboFailデータセットを作成し、LLMベースのフレームワークが有益な失敗説明を生成し、成功した修正計画を支援できることを示します。プロジェクトウェブサイト: https://roboreflect.github.io/

English

The ability to detect and analyze failed executions automatically is crucial for an explainable and robust robotic system. Recently, Large Language Models (LLMs) have demonstrated strong common sense reasoning skills on textual inputs. To leverage the power of LLM for robot failure explanation, we propose a framework REFLECT, which converts multi-sensory data into a hierarchical summary of robot past experiences and queries LLM with a progressive failure explanation algorithm. Conditioned on the explanation, a failure correction planner generates an executable plan for the robot to correct the failure and complete the task. To systematically evaluate the framework, we create the RoboFail dataset and show that our LLM-based framework is able to generate informative failure explanations that assist successful correction planning. Project website: https://roboreflect.github.io/

REFLECT: ロボットの経験を要約し、失敗の説明と修正を行う

REFLECT: Summarizing Robot Experiences for Failure Explanation and Correction

要旨

Support