Mobile ALOHA: Erlernen bimanueller mobiler Manipulation mit kostengünstiger Ganzkörper-Teleoperation

Mobile ALOHA: Learning Bimanual Mobile Manipulation with Low-Cost Whole-Body Teleoperation

January 4, 2024

Autoren: Zipeng Fu, Tony Z. Zhao, Chelsea Finn

cs.AI

Zusammenfassung

Das Lernen durch Nachahmung menschlicher Demonstrationen hat beeindruckende Leistungen in der Robotik gezeigt. Die meisten Ergebnisse konzentrieren sich jedoch auf Manipulationen auf Tischplatten und weisen nicht die Mobilität und Geschicklichkeit auf, die für allgemein nützliche Aufgaben erforderlich sind. In dieser Arbeit entwickeln wir ein System zur Nachahmung mobiler Manipulationsaufgaben, die bimanuell sind und eine Ganzkörpersteuerung erfordern. Wir stellen zunächst Mobile ALOHA vor, ein kostengünstiges Teleoperationssystem für die Datenerfassung, das den gesamten Körper einbezieht. Es erweitert das ALOHA-System um eine mobile Basis und eine Ganzkörper-Teleoperationsschnittstelle. Mit den von Mobile ALOHA gesammelten Daten führen wir dann ein überwachtes Verhaltensklonen durch und stellen fest, dass das gemeinsame Training mit vorhandenen statischen ALOHA-Datensätzen die Leistung bei mobilen Manipulationsaufgaben steigert. Mit 50 Demonstrationen für jede Aufgabe kann das gemeinsame Training die Erfolgsquote um bis zu 90 % erhöhen, wodurch Mobile ALOHA in der Lage ist, komplexe mobile Manipulationsaufgaben autonom zu bewältigen, wie z. B. das Anbraten und Servieren einer Garnele, das Öffnen eines zweitürigen Wandschranks zur Aufbewahrung schwerer Kochtöpfe, das Rufen und Betreten eines Aufzugs sowie das leichte Ausspülen einer gebrauchten Pfanne mit einem Küchenwasserhahn. Projektwebsite: https://mobile-aloha.github.io

English

Imitation learning from human demonstrations has shown impressive performance in robotics. However, most results focus on table-top manipulation, lacking the mobility and dexterity necessary for generally useful tasks. In this work, we develop a system for imitating mobile manipulation tasks that are bimanual and require whole-body control. We first present Mobile ALOHA, a low-cost and whole-body teleoperation system for data collection. It augments the ALOHA system with a mobile base, and a whole-body teleoperation interface. Using data collected with Mobile ALOHA, we then perform supervised behavior cloning and find that co-training with existing static ALOHA datasets boosts performance on mobile manipulation tasks. With 50 demonstrations for each task, co-training can increase success rates by up to 90%, allowing Mobile ALOHA to autonomously complete complex mobile manipulation tasks such as sauteing and serving a piece of shrimp, opening a two-door wall cabinet to store heavy cooking pots, calling and entering an elevator, and lightly rinsing a used pan using a kitchen faucet. Project website: https://mobile-aloha.github.io