OK-Robot : Ce qui compte vraiment dans l'intégration de modèles à connaissances ouvertes pour la robotique

OK-Robot: What Really Matters in Integrating Open-Knowledge Models for Robotics

January 22, 2024

Auteurs: Peiqi Liu, Yaswanth Orru, Chris Paxton, Nur Muhammad Mahi Shafiullah, Lerrel Pinto

cs.AI

Résumé

Des progrès remarquables ont été réalisés ces dernières années dans les domaines de la vision, du langage et de la robotique. Nous disposons désormais de modèles de vision capables de reconnaître des objets à partir de requêtes linguistiques, de systèmes de navigation pouvant contrôler efficacement des systèmes mobiles, et de modèles de préhension capables de manipuler une large gamme d'objets. Malgré ces avancées, les applications robotiques à usage général restent en retard, bien qu'elles reposent sur ces capacités fondamentales de reconnaissance, de navigation et de préhension. Dans cet article, nous adoptons une approche systémique pour développer un nouveau cadre robotique basé sur les connaissances ouvertes, appelé OK-Robot. En combinant des modèles vision-langage (VLMs) pour la détection d'objets, des primitives de navigation pour le déplacement et des primitives de préhension pour la manipulation d'objets, OK-Robot propose une solution intégrée pour les opérations de prise et dépose sans nécessiter d'apprentissage. Pour évaluer ses performances, nous avons testé OK-Robot dans 10 environnements domestiques réels. Les résultats montrent qu'OK-Robot atteint un taux de réussite de 58,5 % dans les tâches ouvertes de prise et dépose, établissant un nouvel état de l'art en manipulation mobile à vocabulaire ouvert (OVMM) avec une performance presque 1,8 fois supérieure aux travaux précédents. Dans des environnements plus propres et moins encombrés, la performance d'OK-Robot augmente à 82 %. Cependant, l'enseignement le plus important tiré d'OK-Robot est le rôle crucial des détails subtils lors de la combinaison de systèmes de connaissances ouvertes comme les VLMs avec des modules robotiques. Les vidéos de nos expériences sont disponibles sur notre site web : https://ok-robot.github.io

English

Remarkable progress has been made in recent years in the fields of vision, language, and robotics. We now have vision models capable of recognizing objects based on language queries, navigation systems that can effectively control mobile systems, and grasping models that can handle a wide range of objects. Despite these advancements, general-purpose applications of robotics still lag behind, even though they rely on these fundamental capabilities of recognition, navigation, and grasping. In this paper, we adopt a systems-first approach to develop a new Open Knowledge-based robotics framework called OK-Robot. By combining Vision-Language Models (VLMs) for object detection, navigation primitives for movement, and grasping primitives for object manipulation, OK-Robot offers a integrated solution for pick-and-drop operations without requiring any training. To evaluate its performance, we run OK-Robot in 10 real-world home environments. The results demonstrate that OK-Robot achieves a 58.5% success rate in open-ended pick-and-drop tasks, representing a new state-of-the-art in Open Vocabulary Mobile Manipulation (OVMM) with nearly 1.8x the performance of prior work. On cleaner, uncluttered environments, OK-Robot's performance increases to 82%. However, the most important insight gained from OK-Robot is the critical role of nuanced details when combining Open Knowledge systems like VLMs with robotic modules. Videos of our experiments are available on our website: https://ok-robot.github.io