Mobile ALOHA: Bimanuele mobiele manipulatie leren met goedkope full-body teleoperatie

Mobile ALOHA: Learning Bimanual Mobile Manipulation with Low-Cost Whole-Body Teleoperation

January 4, 2024

Auteurs: Zipeng Fu, Tony Z. Zhao, Chelsea Finn

cs.AI

Samenvatting

Imiteren van menselijke demonstraties heeft indrukwekkende prestaties getoond in robotica. De meeste resultaten richten zich echter op manipulatie op tafels, wat de mobiliteit en behendigheid mist die nodig zijn voor algemeen nuttige taken. In dit werk ontwikkelen we een systeem voor het imiteren van mobiele manipulatietaken die bimanueel zijn en volledige lichaamscontrole vereisen. We presenteren eerst Mobile ALOHA, een goedkoop en volledig lichaamsgestuurd teleoperatiesysteem voor gegevensverzameling. Het breidt het ALOHA-systeem uit met een mobiele basis en een volledig lichaamsgestuurde teleoperatie-interface. Met behulp van gegevens die met Mobile ALOHA zijn verzameld, voeren we vervolgens gesuperviseerd gedragskloneren uit en ontdekken we dat co-training met bestaande statische ALOHA-datasets de prestaties bij mobiele manipulatietaken verbetert. Met 50 demonstraties voor elke taak kan co-training de slagingspercentages met wel 90% verhogen, waardoor Mobile ALOHA complexe mobiele manipulatietaken autonoom kan uitvoeren, zoals het sauteren en serveren van een stuk garnaal, het openen van een tweedelige wandkast om zware kookpotten op te bergen, het bellen en betreden van een lift, en het lichtjes spoelen van een gebruikte pan met een keukenkraan. Projectwebsite: https://mobile-aloha.github.io

English

Imitation learning from human demonstrations has shown impressive performance in robotics. However, most results focus on table-top manipulation, lacking the mobility and dexterity necessary for generally useful tasks. In this work, we develop a system for imitating mobile manipulation tasks that are bimanual and require whole-body control. We first present Mobile ALOHA, a low-cost and whole-body teleoperation system for data collection. It augments the ALOHA system with a mobile base, and a whole-body teleoperation interface. Using data collected with Mobile ALOHA, we then perform supervised behavior cloning and find that co-training with existing static ALOHA datasets boosts performance on mobile manipulation tasks. With 50 demonstrations for each task, co-training can increase success rates by up to 90%, allowing Mobile ALOHA to autonomously complete complex mobile manipulation tasks such as sauteing and serving a piece of shrimp, opening a two-door wall cabinet to store heavy cooking pots, calling and entering an elevator, and lightly rinsing a used pan using a kitchen faucet. Project website: https://mobile-aloha.github.io