OK-Robot: 로보틱스에 오픈 지식 모델을 통합할 때 정말 중요한 것은 무엇인가

초록

최근 몇 년 동안 비전, 언어, 로봇 공학 분야에서 놀라운 발전이 이루어졌다. 이제 우리는 언어 질의를 기반으로 물체를 인식할 수 있는 비전 모델, 모바일 시스템을 효과적으로 제어할 수 있는 내비게이션 시스템, 다양한 물체를 다룰 수 있는 그리핑 모델을 보유하고 있다. 이러한 발전에도 불구하고, 인식, 내비게이션, 그리핑과 같은 기본 기능에 의존하는 일반 목적 로봇 응용 프로그램은 여전히 뒤처져 있다. 본 논문에서는 시스템 중심 접근 방식을 채택하여 새로운 오픈 지식 기반 로봇 프레임워크인 OK-Robot을 개발한다. OK-Robot은 물체 감지를 위한 비전-언어 모델(VLM), 이동을 위한 내비게이션 프리미티브, 물체 조작을 위한 그리핑 프리미티브를 결합하여, 별도의 훈련 없이도 픽앤드롭 작업을 위한 통합 솔루션을 제공한다. 성능을 평가하기 위해 OK-Robot을 10개의 실제 가정 환경에서 실행하였다. 그 결과, OK-Robot은 개방형 픽앤드롭 작업에서 58.5%의 성공률을 달성하여, 이전 연구 대비 거의 1.8배의 성능으로 Open Vocabulary Mobile Manipulation(OVMM) 분야에서 새로운 최첨단 기술을 보여주었다. 더 깨끗하고 정리된 환경에서는 OK-Robot의 성능이 82%까지 증가하였다. 그러나 OK-Robot에서 얻은 가장 중요한 통찰은 VLM과 같은 오픈 지식 시스템을 로봇 모듈과 결합할 때 미묘한 세부 사항이 얼마나 중요한 역할을 하는지이다. 실험 영상은 웹사이트(https://ok-robot.github.io)에서 확인할 수 있다.

English

Remarkable progress has been made in recent years in the fields of vision, language, and robotics. We now have vision models capable of recognizing objects based on language queries, navigation systems that can effectively control mobile systems, and grasping models that can handle a wide range of objects. Despite these advancements, general-purpose applications of robotics still lag behind, even though they rely on these fundamental capabilities of recognition, navigation, and grasping. In this paper, we adopt a systems-first approach to develop a new Open Knowledge-based robotics framework called OK-Robot. By combining Vision-Language Models (VLMs) for object detection, navigation primitives for movement, and grasping primitives for object manipulation, OK-Robot offers a integrated solution for pick-and-drop operations without requiring any training. To evaluate its performance, we run OK-Robot in 10 real-world home environments. The results demonstrate that OK-Robot achieves a 58.5% success rate in open-ended pick-and-drop tasks, representing a new state-of-the-art in Open Vocabulary Mobile Manipulation (OVMM) with nearly 1.8x the performance of prior work. On cleaner, uncluttered environments, OK-Robot's performance increases to 82%. However, the most important insight gained from OK-Robot is the critical role of nuanced details when combining Open Knowledge systems like VLMs with robotic modules. Videos of our experiments are available on our website: https://ok-robot.github.io

OK-Robot: 로보틱스에 오픈 지식 모델을 통합할 때 정말 중요한 것은 무엇인가

OK-Robot: What Really Matters in Integrating Open-Knowledge Models for Robotics

초록

Support