REFLECT: Обобщение опыта роботов для объяснения и исправления ошибок
REFLECT: Summarizing Robot Experiences for Failure Explanation and Correction
June 27, 2023
Авторы: Zeyi Liu, Arpit Bahety, Shuran Song
cs.AI
Аннотация
Способность автоматически обнаруживать и анализировать неудачные выполнения задач крайне важна для создания объяснимых и надежных роботизированных систем. В последнее время крупные языковые модели (LLM) продемонстрировали высокий уровень навыков здравого смысла при работе с текстовыми данными. Чтобы использовать возможности LLM для объяснения сбоев роботов, мы предлагаем фреймворк REFLECT, который преобразует мультисенсорные данные в иерархическое резюме прошлого опыта робота и запрашивает LLM с помощью прогрессивного алгоритма объяснения сбоев. На основе полученного объяснения планировщик исправления сбоев генерирует исполняемый план, позволяющий роботу устранить ошибку и завершить задачу. Для систематической оценки фреймворка мы создали набор данных RoboFail и показали, что наш подход на основе LLM способен генерировать информативные объяснения сбоев, которые способствуют успешному планированию исправлений. Сайт проекта: https://roboreflect.github.io/
English
The ability to detect and analyze failed executions automatically is crucial
for an explainable and robust robotic system. Recently, Large Language Models
(LLMs) have demonstrated strong common sense reasoning skills on textual
inputs. To leverage the power of LLM for robot failure explanation, we propose
a framework REFLECT, which converts multi-sensory data into a hierarchical
summary of robot past experiences and queries LLM with a progressive failure
explanation algorithm. Conditioned on the explanation, a failure correction
planner generates an executable plan for the robot to correct the failure and
complete the task. To systematically evaluate the framework, we create the
RoboFail dataset and show that our LLM-based framework is able to generate
informative failure explanations that assist successful correction planning.
Project website: https://roboreflect.github.io/