OK-Robot: Cosa Conta Veramente nell'Integrazione di Modelli a Conoscenza Aperta per la Robotica

OK-Robot: What Really Matters in Integrating Open-Knowledge Models for Robotics

January 22, 2024

Autori: Peiqi Liu, Yaswanth Orru, Chris Paxton, Nur Muhammad Mahi Shafiullah, Lerrel Pinto

cs.AI

Abstract

Negli ultimi anni sono stati compiuti progressi significativi nei campi della visione, del linguaggio e della robotica. Oggi disponiamo di modelli di visione in grado di riconoscere oggetti in base a query linguistiche, sistemi di navigazione che possono controllare efficacemente sistemi mobili e modelli di presa che possono gestire una vasta gamma di oggetti. Nonostante questi avanzamenti, le applicazioni robotiche di uso generale rimangono indietro, pur basandosi su queste capacità fondamentali di riconoscimento, navigazione e presa. In questo articolo, adottiamo un approccio sistemico per sviluppare un nuovo framework robotico basato su conoscenza aperta chiamato OK-Robot. Combinando modelli visione-linguaggio (VLMs) per il rilevamento degli oggetti, primitive di navigazione per il movimento e primitive di presa per la manipolazione degli oggetti, OK-Robot offre una soluzione integrata per operazioni di pick-and-drop senza richiedere alcun addestramento. Per valutarne le prestazioni, abbiamo testato OK-Robot in 10 ambienti domestici reali. I risultati dimostrano che OK-Robot raggiunge un tasso di successo del 58,5% in compiti aperti di pick-and-drop, rappresentando un nuovo stato dell'arte nella Manipolazione Mobile a Vocabolario Aperto (OVMM) con prestazioni quasi 1,8 volte superiori rispetto ai lavori precedenti. In ambienti più puliti e ordinati, le prestazioni di OK-Robot aumentano all'82%. Tuttavia, l'osservazione più importante emersa da OK-Robot è il ruolo cruciale dei dettagli sfumati quando si combinano sistemi di conoscenza aperta come i VLMs con moduli robotici. I video dei nostri esperimenti sono disponibili sul nostro sito web: https://ok-robot.github.io

English

Remarkable progress has been made in recent years in the fields of vision, language, and robotics. We now have vision models capable of recognizing objects based on language queries, navigation systems that can effectively control mobile systems, and grasping models that can handle a wide range of objects. Despite these advancements, general-purpose applications of robotics still lag behind, even though they rely on these fundamental capabilities of recognition, navigation, and grasping. In this paper, we adopt a systems-first approach to develop a new Open Knowledge-based robotics framework called OK-Robot. By combining Vision-Language Models (VLMs) for object detection, navigation primitives for movement, and grasping primitives for object manipulation, OK-Robot offers a integrated solution for pick-and-drop operations without requiring any training. To evaluate its performance, we run OK-Robot in 10 real-world home environments. The results demonstrate that OK-Robot achieves a 58.5% success rate in open-ended pick-and-drop tasks, representing a new state-of-the-art in Open Vocabulary Mobile Manipulation (OVMM) with nearly 1.8x the performance of prior work. On cleaner, uncluttered environments, OK-Robot's performance increases to 82%. However, the most important insight gained from OK-Robot is the critical role of nuanced details when combining Open Knowledge systems like VLMs with robotic modules. Videos of our experiments are available on our website: https://ok-robot.github.io