OK-Robot: Что действительно важно при интеграции моделей с открытыми знаниями в робототехнике
OK-Robot: What Really Matters in Integrating Open-Knowledge Models for Robotics
January 22, 2024
Авторы: Peiqi Liu, Yaswanth Orru, Chris Paxton, Nur Muhammad Mahi Shafiullah, Lerrel Pinto
cs.AI
Аннотация
В последние годы был достигнут значительный прогресс в областях компьютерного зрения, обработки естественного языка и робототехники. Сегодня существуют модели зрения, способные распознавать объекты на основе текстовых запросов, навигационные системы, эффективно управляющие мобильными платформами, и модели захвата, способные работать с широким спектром объектов. Несмотря на эти достижения, универсальные приложения робототехники всё ещё отстают, хотя и опираются на такие фундаментальные возможности, как распознавание, навигация и захват. В данной статье мы применяем системно-ориентированный подход для разработки новой робототехнической платформы на основе открытых знаний, названной OK-Robot. Объединяя модели "визуальный язык" (VLMs) для обнаружения объектов, навигационные примитивы для перемещения и примитивы захвата для манипуляции объектами, OK-Robot предлагает интегрированное решение для операций "взять и положить" без необходимости обучения. Для оценки её производительности мы провели тестирование OK-Robot в 10 реальных домашних условиях. Результаты показывают, что OK-Robot достигает успеха в 58,5% случаев в открытых задачах "взять и положить", что представляет собой новый уровень в области манипуляции с мобильными роботами с открытым словарём (OVMM), превосходя предыдущие работы почти в 1,8 раза. В более чистых и упорядоченных средах производительность OK-Robot возрастает до 82%. Однако наиболее важный вывод, полученный благодаря OK-Robot, заключается в критической роли тонких деталей при объединении систем открытых знаний, таких как VLMs, с робототехническими модулями. Видео наших экспериментов доступны на нашем сайте: https://ok-robot.github.io.
English
Remarkable progress has been made in recent years in the fields of vision,
language, and robotics. We now have vision models capable of recognizing
objects based on language queries, navigation systems that can effectively
control mobile systems, and grasping models that can handle a wide range of
objects. Despite these advancements, general-purpose applications of robotics
still lag behind, even though they rely on these fundamental capabilities of
recognition, navigation, and grasping. In this paper, we adopt a systems-first
approach to develop a new Open Knowledge-based robotics framework called
OK-Robot. By combining Vision-Language Models (VLMs) for object detection,
navigation primitives for movement, and grasping primitives for object
manipulation, OK-Robot offers a integrated solution for pick-and-drop
operations without requiring any training. To evaluate its performance, we run
OK-Robot in 10 real-world home environments. The results demonstrate that
OK-Robot achieves a 58.5% success rate in open-ended pick-and-drop tasks,
representing a new state-of-the-art in Open Vocabulary Mobile Manipulation
(OVMM) with nearly 1.8x the performance of prior work. On cleaner, uncluttered
environments, OK-Robot's performance increases to 82%. However, the most
important insight gained from OK-Robot is the critical role of nuanced details
when combining Open Knowledge systems like VLMs with robotic modules. Videos of
our experiments are available on our website: https://ok-robot.github.io