Mobile ALOHA: Обучение двуручному мобильному манипулированию с помощью недорогого телеуправления всем телом

Mobile ALOHA: Learning Bimanual Mobile Manipulation with Low-Cost Whole-Body Teleoperation

January 4, 2024

Авторы: Zipeng Fu, Tony Z. Zhao, Chelsea Finn

cs.AI

Аннотация

Обучение с подражанием на основе демонстраций человека продемонстрировало впечатляющие результаты в робототехнике. Однако большинство достижений сосредоточено на манипуляциях на столе, что не обеспечивает необходимой мобильности и ловкости для выполнения задач общего назначения. В данной работе мы разрабатываем систему для имитации мобильных манипуляционных задач, требующих двуручного взаимодействия и управления всем телом. Сначала мы представляем Mobile ALOHA — недорогую систему телеуправления всем телом для сбора данных. Она расширяет систему ALOHA за счет мобильной базы и интерфейса телеуправления всем телом. Используя данные, собранные с помощью Mobile ALOHA, мы затем проводим обучение с подражанием под наблюдением и обнаруживаем, что совместное обучение с существующими наборами данных статической ALOHA повышает производительность на задачах мобильных манипуляций. При 50 демонстрациях для каждой задачи совместное обучение может увеличить процент успешного выполнения до 90%, что позволяет Mobile ALOHA автономно выполнять сложные мобильные манипуляционные задачи, такие как обжаривание и подача креветки, открытие двухстворчатого настенного шкафа для хранения тяжелых кастрюль, вызов и вход в лифт, а также легкое ополаскивание использованной сковороды с помощью кухонного крана. Сайт проекта: https://mobile-aloha.github.io.

English

Imitation learning from human demonstrations has shown impressive performance in robotics. However, most results focus on table-top manipulation, lacking the mobility and dexterity necessary for generally useful tasks. In this work, we develop a system for imitating mobile manipulation tasks that are bimanual and require whole-body control. We first present Mobile ALOHA, a low-cost and whole-body teleoperation system for data collection. It augments the ALOHA system with a mobile base, and a whole-body teleoperation interface. Using data collected with Mobile ALOHA, we then perform supervised behavior cloning and find that co-training with existing static ALOHA datasets boosts performance on mobile manipulation tasks. With 50 demonstrations for each task, co-training can increase success rates by up to 90%, allowing Mobile ALOHA to autonomously complete complex mobile manipulation tasks such as sauteing and serving a piece of shrimp, opening a two-door wall cabinet to store heavy cooking pots, calling and entering an elevator, and lightly rinsing a used pan using a kitchen faucet. Project website: https://mobile-aloha.github.io