Manipulación Móvil Adaptativa para Objetos Articulados en el Mundo Abierto

Adaptive Mobile Manipulation for Articulated Objects In the Open World

January 25, 2024

Autores: Haoyu Xiong, Russell Mendonca, Kenneth Shaw, Deepak Pathak

cs.AI

Resumen

El despliegue de robots en entornos abiertos y no estructurados, como los hogares, ha sido un problema de investigación de larga data. Sin embargo, los robots suelen estudiarse únicamente en entornos de laboratorio controlados, y los trabajos previos en manipulación móvil se limitan a tareas de recoger-mover-colocar, lo que podría considerarse solo la punta del iceberg en este campo. En este artículo, presentamos el Sistema de Manipulación Móvil en Mundo Abierto, un enfoque integral para abordar la operación realista de objetos articulados, como puertas, armarios, cajones y refrigeradores en entornos abiertos y no estructurados. El robot utiliza un marco de aprendizaje adaptativo que inicialmente aprende a partir de un pequeño conjunto de datos mediante clonación de comportamiento, seguido de aprendizaje a través de práctica en línea con objetos nuevos que no forman parte de la distribución de entrenamiento. También desarrollamos una plataforma de hardware de manipulación móvil de bajo costo, capaz de adaptarse de manera segura y autónoma en entornos no estructurados, con un costo aproximado de 20,000 USD. En nuestros experimentos, utilizamos 20 objetos articulados en 4 edificios del campus de CMU. Con menos de una hora de aprendizaje en línea para cada objeto, el sistema logra aumentar la tasa de éxito del 50% obtenido en la fase de pre-entrenamiento por clonación de comportamiento al 95% mediante la adaptación en línea. Los resultados en video están disponibles en https://open-world-mobilemanip.github.io/.

English

Deploying robots in open-ended unstructured environments such as homes has been a long-standing research problem. However, robots are often studied only in closed-off lab settings, and prior mobile manipulation work is restricted to pick-move-place, which is arguably just the tip of the iceberg in this area. In this paper, we introduce Open-World Mobile Manipulation System, a full-stack approach to tackle realistic articulated object operation, e.g. real-world doors, cabinets, drawers, and refrigerators in open-ended unstructured environments. The robot utilizes an adaptive learning framework to initially learns from a small set of data through behavior cloning, followed by learning from online practice on novel objects that fall outside the training distribution. We also develop a low-cost mobile manipulation hardware platform capable of safe and autonomous online adaptation in unstructured environments with a cost of around 20,000 USD. In our experiments we utilize 20 articulate objects across 4 buildings in the CMU campus. With less than an hour of online learning for each object, the system is able to increase success rate from 50% of BC pre-training to 95% using online adaptation. Video results at https://open-world-mobilemanip.github.io/