REFLECT: 실패 설명 및 수정을 위한 로봇 경험 요약

초록

실패한 실행을 자동으로 탐지하고 분석하는 능력은 설명 가능하고 견고한 로봇 시스템에 있어 매우 중요합니다. 최근 대규모 언어 모델(LLM)은 텍스트 입력에 대한 강력한 상식적 추론 능력을 보여주었습니다. 로봇 실패 설명을 위해 LLM의 힘을 활용하기 위해, 우리는 다중 감각 데이터를 로봇의 과거 경험에 대한 계층적 요약으로 변환하고 점진적 실패 설명 알고리즘으로 LLM을 쿼리하는 REFLECT 프레임워크를 제안합니다. 설명에 기반하여, 실패 수정 플래너는 로봇이 실패를 수정하고 작업을 완료할 수 있는 실행 가능한 계획을 생성합니다. 이 프레임워크를 체계적으로 평가하기 위해, 우리는 RoboFail 데이터셋을 생성하고 LLM 기반 프레임워크가 성공적인 수정 계획을 지원하는 유익한 실패 설명을 생성할 수 있음을 보여줍니다. 프로젝트 웹사이트: https://roboreflect.github.io/

English

The ability to detect and analyze failed executions automatically is crucial for an explainable and robust robotic system. Recently, Large Language Models (LLMs) have demonstrated strong common sense reasoning skills on textual inputs. To leverage the power of LLM for robot failure explanation, we propose a framework REFLECT, which converts multi-sensory data into a hierarchical summary of robot past experiences and queries LLM with a progressive failure explanation algorithm. Conditioned on the explanation, a failure correction planner generates an executable plan for the robot to correct the failure and complete the task. To systematically evaluate the framework, we create the RoboFail dataset and show that our LLM-based framework is able to generate informative failure explanations that assist successful correction planning. Project website: https://roboreflect.github.io/

REFLECT: 실패 설명 및 수정을 위한 로봇 경험 요약

REFLECT: Summarizing Robot Experiences for Failure Explanation and Correction

초록

Support