OK-Robot: Wat werkelijk van belang is bij het integreren van open-kennismodellen voor robotica

OK-Robot: What Really Matters in Integrating Open-Knowledge Models for Robotics

January 22, 2024

Auteurs: Peiqi Liu, Yaswanth Orru, Chris Paxton, Nur Muhammad Mahi Shafiullah, Lerrel Pinto

cs.AI

Samenvatting

Er is de afgelopen jaren aanzienlijke vooruitgang geboekt op het gebied van visie, taal en robotica. We beschikken nu over visiemodellen die objecten kunnen herkennen op basis van taalquery's, navigatiesystemen die mobiele systemen effectief kunnen besturen, en grijpmodellen die een breed scala aan objecten kunnen hanteren. Ondanks deze vooruitgang blijven algemene toepassingen van robotica achter, ook al zijn ze afhankelijk van deze fundamentele vaardigheden van herkenning, navigatie en grijpen. In dit artikel nemen we een systeemgerichte benadering om een nieuw Open Knowledge-gebaseerd robotica-framework te ontwikkelen, genaamd OK-Robot. Door Vision-Language Models (VLMs) voor objectdetectie, navigatieprimitieven voor beweging en grijpprimitieven voor objectmanipulatie te combineren, biedt OK-Robot een geïntegreerde oplossing voor pick-and-drop operaties zonder enige training te vereisen. Om de prestaties te evalueren, hebben we OK-Robot in 10 realistische thuissituaties getest. De resultaten laten zien dat OK-Robot een slagingspercentage van 58,5% behaalt in open-ended pick-and-drop taken, wat een nieuwe state-of-the-art vertegenwoordigt in Open Vocabulary Mobile Manipulation (OVMM) met bijna 1,8x de prestaties van eerder werk. In schonere, minder rommelige omgevingen stijgt de prestatie van OK-Robot naar 82%. De belangrijkste inzicht die we hebben opgedaan met OK-Robot is de cruciale rol van subtiele details bij het combineren van Open Knowledge-systemen zoals VLMs met robotische modules. Video's van onze experimenten zijn beschikbaar op onze website: https://ok-robot.github.io

English

Remarkable progress has been made in recent years in the fields of vision, language, and robotics. We now have vision models capable of recognizing objects based on language queries, navigation systems that can effectively control mobile systems, and grasping models that can handle a wide range of objects. Despite these advancements, general-purpose applications of robotics still lag behind, even though they rely on these fundamental capabilities of recognition, navigation, and grasping. In this paper, we adopt a systems-first approach to develop a new Open Knowledge-based robotics framework called OK-Robot. By combining Vision-Language Models (VLMs) for object detection, navigation primitives for movement, and grasping primitives for object manipulation, OK-Robot offers a integrated solution for pick-and-drop operations without requiring any training. To evaluate its performance, we run OK-Robot in 10 real-world home environments. The results demonstrate that OK-Robot achieves a 58.5% success rate in open-ended pick-and-drop tasks, representing a new state-of-the-art in Open Vocabulary Mobile Manipulation (OVMM) with nearly 1.8x the performance of prior work. On cleaner, uncluttered environments, OK-Robot's performance increases to 82%. However, the most important insight gained from OK-Robot is the critical role of nuanced details when combining Open Knowledge systems like VLMs with robotic modules. Videos of our experiments are available on our website: https://ok-robot.github.io