Mobile ALOHA: Apprendimento della manipolazione mobile bimanuale con teleoperazione a basso costo di tutto il corpo

Mobile ALOHA: Learning Bimanual Mobile Manipulation with Low-Cost Whole-Body Teleoperation

January 4, 2024

Autori: Zipeng Fu, Tony Z. Zhao, Chelsea Finn

cs.AI

Abstract

L'apprendimento per imitazione da dimostrazioni umane ha dimostrato prestazioni impressionanti nella robotica. Tuttavia, la maggior parte dei risultati si concentra su manipolazioni da tavolo, mancando della mobilità e destrezza necessarie per compiti generalmente utili. In questo lavoro, sviluppiamo un sistema per imitare compiti di manipolazione mobile che sono bimanuali e richiedono il controllo dell'intero corpo. Presentiamo innanzitutto Mobile ALOHA, un sistema di teleoperazione a basso costo e per l'intero corpo per la raccolta dati. Esso amplia il sistema ALOHA con una base mobile e un'interfaccia di teleoperazione per l'intero corpo. Utilizzando i dati raccolti con Mobile ALOHA, eseguiamo poi un cloning comportamentale supervisionato e scopriamo che l'addestramento congiunto con i dataset esistenti di ALOHA statico migliora le prestazioni sui compiti di manipolazione mobile. Con 50 dimostrazioni per ciascun compito, l'addestramento congiunto può aumentare i tassi di successo fino al 90%, consentendo a Mobile ALOHA di completare autonomamente complessi compiti di manipolazione mobile come saltare e servire un gamberetto, aprire un armadio a due ante per riporre pentole pesanti, chiamare e entrare in un ascensore, e sciacquare leggermente una padella usata utilizzando un rubinetto della cucina. Sito web del progetto: https://mobile-aloha.github.io

English

Imitation learning from human demonstrations has shown impressive performance in robotics. However, most results focus on table-top manipulation, lacking the mobility and dexterity necessary for generally useful tasks. In this work, we develop a system for imitating mobile manipulation tasks that are bimanual and require whole-body control. We first present Mobile ALOHA, a low-cost and whole-body teleoperation system for data collection. It augments the ALOHA system with a mobile base, and a whole-body teleoperation interface. Using data collected with Mobile ALOHA, we then perform supervised behavior cloning and find that co-training with existing static ALOHA datasets boosts performance on mobile manipulation tasks. With 50 demonstrations for each task, co-training can increase success rates by up to 90%, allowing Mobile ALOHA to autonomously complete complex mobile manipulation tasks such as sauteing and serving a piece of shrimp, opening a two-door wall cabinet to store heavy cooking pots, calling and entering an elevator, and lightly rinsing a used pan using a kitchen faucet. Project website: https://mobile-aloha.github.io