Manipolazione Mobile Adattativa per Oggetti Articolati nel Mondo Aperto

Adaptive Mobile Manipulation for Articulated Objects In the Open World

January 25, 2024

Autori: Haoyu Xiong, Russell Mendonca, Kenneth Shaw, Deepak Pathak

cs.AI

Abstract

L'implementazione di robot in ambienti aperti e non strutturati, come le abitazioni, rappresenta un problema di ricerca di lunga data. Tuttavia, i robot sono spesso studiati solo in ambienti di laboratorio chiusi, e i precedenti lavori sulla manipolazione mobile si limitano a operazioni di prelievo-spostamento-posizionamento, che rappresentano solo la punta dell'iceberg in questo campo. In questo articolo, introduciamo il Sistema di Manipolazione Mobile in Mondo Aperto, un approccio full-stack per affrontare l'operazione realistica di oggetti articolati, come porte, armadi, cassetti e frigoriferi nel mondo reale, in ambienti aperti e non strutturati. Il robot utilizza un framework di apprendimento adattivo per apprendere inizialmente da un piccolo set di dati attraverso la clonazione comportamentale, seguito dall'apprendimento tramite pratica online su nuovi oggetti che esulano dalla distribuzione di addestramento. Abbiamo anche sviluppato una piattaforma hardware per la manipolazione mobile a basso costo, capace di adattamento autonomo e sicuro in ambienti non strutturati, con un costo di circa 20.000 USD. Nei nostri esperimenti, utilizziamo 20 oggetti articolati in 4 edifici del campus della CMU. Con meno di un'ora di apprendimento online per ogni oggetto, il sistema è in grado di aumentare il tasso di successo dal 50% del pre-addestramento con clonazione comportamentale al 95% utilizzando l'adattamento online. I risultati video sono disponibili su https://open-world-mobilemanip.github.io/

English

Deploying robots in open-ended unstructured environments such as homes has been a long-standing research problem. However, robots are often studied only in closed-off lab settings, and prior mobile manipulation work is restricted to pick-move-place, which is arguably just the tip of the iceberg in this area. In this paper, we introduce Open-World Mobile Manipulation System, a full-stack approach to tackle realistic articulated object operation, e.g. real-world doors, cabinets, drawers, and refrigerators in open-ended unstructured environments. The robot utilizes an adaptive learning framework to initially learns from a small set of data through behavior cloning, followed by learning from online practice on novel objects that fall outside the training distribution. We also develop a low-cost mobile manipulation hardware platform capable of safe and autonomous online adaptation in unstructured environments with a cost of around 20,000 USD. In our experiments we utilize 20 articulate objects across 4 buildings in the CMU campus. With less than an hour of online learning for each object, the system is able to increase success rate from 50% of BC pre-training to 95% using online adaptation. Video results at https://open-world-mobilemanip.github.io/