HomeRobot : Manipulation mobile à vocabulaire ouvert

HomeRobot: Open-Vocabulary Mobile Manipulation

June 20, 2023

Auteurs: Sriram Yenamandra, Arun Ramachandran, Karmesh Yadav, Austin Wang, Mukul Khanna, Theophile Gervet, Tsung-Yen Yang, Vidhi Jain, Alexander William Clegg, John Turner, Zsolt Kira, Manolis Savva, Angel Chang, Devendra Singh Chaplot, Dhruv Batra, Roozbeh Mottaghi, Yonatan Bisk, Chris Paxton

cs.AI

Résumé

HomeRobot (nom) : Un robot abordable et adaptable qui navigue dans les foyers et manipule une large gamme d'objets pour accomplir des tâches quotidiennes. La Manipulation Mobile à Vocabulaire Ouvert (Open-Vocabulary Mobile Manipulation, OVMM) est le problème consistant à saisir n'importe quel objet dans un environnement inconnu et à le placer à un emplacement spécifié. Il s'agit d'un défi fondamental pour que les robots deviennent des assistants utiles dans les environnements humains, car il implique de résoudre des sous-problèmes issus de divers domaines de la robotique : la perception, la compréhension du langage, la navigation et la manipulation sont tous essentiels à l'OVMM. De plus, l'intégration des solutions à ces sous-problèmes pose ses propres défis substantiels. Pour stimuler la recherche dans ce domaine, nous introduisons le benchmark OVMM HomeRobot, où un agent navigue dans des environnements domestiques pour saisir des objets nouveaux et les placer sur des réceptacles cibles. HomeRobot comprend deux composants : un composant de simulation, qui utilise un ensemble d'objets variés et soigneusement sélectionnés dans de nouveaux environnements domestiques multi-pièces de haute qualité ; et un composant réel, fournissant une pile logicielle pour le robot Hello Robot Stretch à faible coût, afin d'encourager la reproduction d'expériences réelles dans différents laboratoires. Nous implémentons des bases de référence à la fois par apprentissage par renforcement et par heuristique (basées sur des modèles) et montrons des preuves de transfert sim-to-real. Nos bases de référence atteignent un taux de réussite de 20 % dans le monde réel ; nos expériences identifient des pistes pour améliorer les performances dans les travaux de recherche futurs. Consultez les vidéos sur notre site web : https://ovmm.github.io/.

English

HomeRobot (noun): An affordable compliant robot that navigates homes and manipulates a wide range of objects in order to complete everyday tasks. Open-Vocabulary Mobile Manipulation (OVMM) is the problem of picking any object in any unseen environment, and placing it in a commanded location. This is a foundational challenge for robots to be useful assistants in human environments, because it involves tackling sub-problems from across robotics: perception, language understanding, navigation, and manipulation are all essential to OVMM. In addition, integration of the solutions to these sub-problems poses its own substantial challenges. To drive research in this area, we introduce the HomeRobot OVMM benchmark, where an agent navigates household environments to grasp novel objects and place them on target receptacles. HomeRobot has two components: a simulation component, which uses a large and diverse curated object set in new, high-quality multi-room home environments; and a real-world component, providing a software stack for the low-cost Hello Robot Stretch to encourage replication of real-world experiments across labs. We implement both reinforcement learning and heuristic (model-based) baselines and show evidence of sim-to-real transfer. Our baselines achieve a 20% success rate in the real world; our experiments identify ways future research work improve performance. See videos on our website: https://ovmm.github.io/.