Adaptive mobile Manipulation für artikulierte Objekte in der offenen Welt

Adaptive Mobile Manipulation for Articulated Objects In the Open World

January 25, 2024

Autoren: Haoyu Xiong, Russell Mendonca, Kenneth Shaw, Deepak Pathak

cs.AI

Zusammenfassung

Der Einsatz von Robotern in offenen, unstrukturierten Umgebungen wie Haushalten stellt seit langem ein Forschungsproblem dar. Allerdings werden Roboter oft nur in abgeschirmten Laborsituationen untersucht, und frühere Arbeiten zur mobilen Manipulation beschränken sich auf das Aufnehmen-Bewegen-Ablegen, was in diesem Bereich wohl nur die Spitze des Eisbergs darstellt. In diesem Artikel stellen wir das Open-World Mobile Manipulation System vor, einen ganzheitlichen Ansatz zur Bewältigung realistischer Aufgaben an artikulierten Objekten, wie z.B. Türen, Schränken, Schubladen und Kühlschränken in offenen, unstrukturierten Umgebungen. Der Roboter nutzt ein adaptives Lernframework, um zunächst aus einer kleinen Datenmenge durch Verhaltensklonung zu lernen, gefolgt vom Lernen durch Online-Praxis an neuen Objekten, die außerhalb der Trainingsverteilung liegen. Wir entwickeln außerdem eine kostengünstige Hardwareplattform für mobile Manipulation, die in der Lage ist, sich sicher und autonom in unstrukturierten Umgebungen anzupassen, mit Kosten von etwa 20.000 USD. In unseren Experimenten verwenden wir 20 artikulierte Objekte in 4 Gebäuden auf dem Campus der CMU. Mit weniger als einer Stunde Online-Lernen für jedes Objekt kann das System die Erfolgsrate von 50% vor dem BC-Training auf 95% durch Online-Anpassung steigern. Videoergebnisse finden Sie unter https://open-world-mobilemanip.github.io/.

English

Deploying robots in open-ended unstructured environments such as homes has been a long-standing research problem. However, robots are often studied only in closed-off lab settings, and prior mobile manipulation work is restricted to pick-move-place, which is arguably just the tip of the iceberg in this area. In this paper, we introduce Open-World Mobile Manipulation System, a full-stack approach to tackle realistic articulated object operation, e.g. real-world doors, cabinets, drawers, and refrigerators in open-ended unstructured environments. The robot utilizes an adaptive learning framework to initially learns from a small set of data through behavior cloning, followed by learning from online practice on novel objects that fall outside the training distribution. We also develop a low-cost mobile manipulation hardware platform capable of safe and autonomous online adaptation in unstructured environments with a cost of around 20,000 USD. In our experiments we utilize 20 articulate objects across 4 buildings in the CMU campus. With less than an hour of online learning for each object, the system is able to increase success rate from 50% of BC pre-training to 95% using online adaptation. Video results at https://open-world-mobilemanip.github.io/