Adaptieve Mobiele Manipulatie voor Gearticuleerde Objecten in de Open Wereld

Adaptive Mobile Manipulation for Articulated Objects In the Open World

January 25, 2024

Auteurs: Haoyu Xiong, Russell Mendonca, Kenneth Shaw, Deepak Pathak

cs.AI

Samenvatting

Het inzetten van robots in open, ongestructureerde omgevingen zoals woningen is een langlopend onderzoeksprobleem. Echter worden robots vaak alleen bestudeerd in afgesloten laboratoriumomgevingen, en eerder werk op het gebied van mobiele manipulatie is beperkt tot het oppakken, verplaatsen en neerzetten van objecten, wat slechts het topje van de ijsberg is in dit onderzoeksgebied. In dit artikel introduceren we het Open-World Mobile Manipulation System, een volledige aanpak om realistische bediening van gearticuleerde objecten aan te pakken, zoals echte deuren, kasten, lades en koelkasten in open, ongestructureerde omgevingen. De robot maakt gebruik van een adaptief leerframework om aanvankelijk te leren van een kleine dataset via gedragsklonering, gevolgd door leren door online oefening op nieuwe objecten die buiten de trainingsdistributie vallen. We ontwikkelen ook een goedkoop hardwareplatform voor mobiele manipulatie dat in staat is tot veilige en autonome online aanpassing in ongestructureerde omgevingen, met een kostenplaatje van ongeveer 20.000 USD. In onze experimenten maken we gebruik van 20 gearticuleerde objecten verspreid over 4 gebouwen op de CMU-campus. Met minder dan een uur online leren voor elk object, is het systeem in staat om het slagingspercentage te verhogen van 50% bij pre-training via gedragsklonering naar 95% door gebruik te maken van online aanpassing. Videoresultaten zijn te vinden op https://open-world-mobilemanip.github.io/.

English

Deploying robots in open-ended unstructured environments such as homes has been a long-standing research problem. However, robots are often studied only in closed-off lab settings, and prior mobile manipulation work is restricted to pick-move-place, which is arguably just the tip of the iceberg in this area. In this paper, we introduce Open-World Mobile Manipulation System, a full-stack approach to tackle realistic articulated object operation, e.g. real-world doors, cabinets, drawers, and refrigerators in open-ended unstructured environments. The robot utilizes an adaptive learning framework to initially learns from a small set of data through behavior cloning, followed by learning from online practice on novel objects that fall outside the training distribution. We also develop a low-cost mobile manipulation hardware platform capable of safe and autonomous online adaptation in unstructured environments with a cost of around 20,000 USD. In our experiments we utilize 20 articulate objects across 4 buildings in the CMU campus. With less than an hour of online learning for each object, the system is able to increase success rate from 50% of BC pre-training to 95% using online adaptation. Video results at https://open-world-mobilemanip.github.io/