Manipulation mobile adaptative pour les objets articulés dans un environnement ouvert

Adaptive Mobile Manipulation for Articulated Objects In the Open World

January 25, 2024

Auteurs: Haoyu Xiong, Russell Mendonca, Kenneth Shaw, Deepak Pathak

cs.AI

Résumé

Le déploiement de robots dans des environnements ouverts et non structurés, tels que les foyers, constitue un problème de recherche de longue date. Cependant, les robots sont souvent étudiés uniquement dans des environnements de laboratoire fermés, et les travaux antérieurs sur la manipulation mobile se limitent généralement à des tâches de prise-déplacement-placement, qui ne représentent qu'une fraction des défis dans ce domaine. Dans cet article, nous présentons le système de manipulation mobile en monde ouvert, une approche complète visant à aborder l'opération réaliste d'objets articulés, tels que les portes, les armoires, les tiroirs et les réfrigérateurs, dans des environnements ouverts et non structurés. Le robot utilise un cadre d'apprentissage adaptatif pour apprendre initialement à partir d'un petit ensemble de données via le clonage comportemental, suivi d'un apprentissage basé sur la pratique en ligne sur des objets nouveaux qui ne font pas partie de la distribution d'entraînement. Nous développons également une plateforme matérielle de manipulation mobile à faible coût, capable de s'adapter de manière sûre et autonome en ligne dans des environnements non structurés, pour un coût d'environ 20 000 USD. Dans nos expériences, nous utilisons 20 objets articulés répartis dans 4 bâtiments du campus de CMU. Avec moins d'une heure d'apprentissage en ligne pour chaque objet, le système parvient à augmenter le taux de réussite de 50 % avant l'entraînement par clonage comportemental à 95 % grâce à l'adaptation en ligne. Les résultats vidéo sont disponibles à l'adresse https://open-world-mobilemanip.github.io/.

English

Deploying robots in open-ended unstructured environments such as homes has been a long-standing research problem. However, robots are often studied only in closed-off lab settings, and prior mobile manipulation work is restricted to pick-move-place, which is arguably just the tip of the iceberg in this area. In this paper, we introduce Open-World Mobile Manipulation System, a full-stack approach to tackle realistic articulated object operation, e.g. real-world doors, cabinets, drawers, and refrigerators in open-ended unstructured environments. The robot utilizes an adaptive learning framework to initially learns from a small set of data through behavior cloning, followed by learning from online practice on novel objects that fall outside the training distribution. We also develop a low-cost mobile manipulation hardware platform capable of safe and autonomous online adaptation in unstructured environments with a cost of around 20,000 USD. In our experiments we utilize 20 articulate objects across 4 buildings in the CMU campus. With less than an hour of online learning for each object, the system is able to increase success rate from 50% of BC pre-training to 95% using online adaptation. Video results at https://open-world-mobilemanip.github.io/