Адаптивная мобильная манипуляция для шарнирных объектов в открытом мире

Adaptive Mobile Manipulation for Articulated Objects In the Open World

January 25, 2024

Авторы: Haoyu Xiong, Russell Mendonca, Kenneth Shaw, Deepak Pathak

cs.AI

Аннотация

Развертывание роботов в открытых неструктурированных средах, таких как дома, является давней исследовательской проблемой. Однако роботы часто изучаются только в закрытых лабораторных условиях, а предыдущие работы по мобильной манипуляции ограничиваются задачами "взять-переместить-положить", что, по сути, является лишь верхушкой айсберга в этой области. В данной статье мы представляем систему Open-World Mobile Manipulation System — комплексный подход для решения задач управления реалистичными шарнирными объектами, такими как двери, шкафы, ящики и холодильники, в открытых неструктурированных средах. Робот использует адаптивную обучающую структуру, которая сначала обучается на небольшом наборе данных с помощью клонирования поведения, а затем продолжает обучение в процессе онлайн-практики на новых объектах, выходящих за пределы обучающего распределения. Мы также разработали недорогую аппаратную платформу для мобильной манипуляции, способную безопасно и автономно адаптироваться в неструктурированных средах, стоимость которой составляет около 20 000 долларов США. В наших экспериментах мы используем 20 шарнирных объектов в 4 зданиях кампуса CMU. Менее чем за час онлайн-обучения для каждого объекта система способна повысить процент успешного выполнения задач с 50% после предварительного обучения методом клонирования поведения до 95% с использованием онлайн-адаптации. Видео с результатами доступно по ссылке: https://open-world-mobilemanip.github.io/.

English

Deploying robots in open-ended unstructured environments such as homes has been a long-standing research problem. However, robots are often studied only in closed-off lab settings, and prior mobile manipulation work is restricted to pick-move-place, which is arguably just the tip of the iceberg in this area. In this paper, we introduce Open-World Mobile Manipulation System, a full-stack approach to tackle realistic articulated object operation, e.g. real-world doors, cabinets, drawers, and refrigerators in open-ended unstructured environments. The robot utilizes an adaptive learning framework to initially learns from a small set of data through behavior cloning, followed by learning from online practice on novel objects that fall outside the training distribution. We also develop a low-cost mobile manipulation hardware platform capable of safe and autonomous online adaptation in unstructured environments with a cost of around 20,000 USD. In our experiments we utilize 20 articulate objects across 4 buildings in the CMU campus. With less than an hour of online learning for each object, the system is able to increase success rate from 50% of BC pre-training to 95% using online adaptation. Video results at https://open-world-mobilemanip.github.io/