AnyTeleop: 범용 비전 기반 정밀 로봇 팔-손 원격 조작 시스템

초록

비전 기반 원격 조작은 저비용 카메라 센서만으로도 로봇이 환경과 물리적으로 상호작용할 수 있는 인간 수준의 지능을 부여할 가능성을 제공합니다. 그러나 현재의 비전 기반 원격 조작 시스템은 특정 로봇 모델과 배포 환경을 위해 설계 및 개발되어 있어, 로봇 모델 풀이 확장되고 운영 환경의 다양성이 증가함에 따라 확장성이 떨어지는 문제가 있습니다. 본 논문에서는 단일 시스템 내에서 다양한 팔, 손, 현실, 그리고 카메라 구성을 지원하는 통합적이고 일반적인 원격 조작 시스템인 AnyTeleop을 제안합니다. 시뮬레이터와 실제 하드웨어 선택에 있어 큰 유연성을 제공하도록 설계되었음에도 불구하고, 우리의 시스템은 여전히 뛰어난 성능을 달성할 수 있습니다. 실제 실험에서 AnyTeleop은 동일한 로봇을 사용하여 특정 로봇 하드웨어를 위해 설계된 이전 시스템보다 더 높은 성공률을 보였습니다. 시뮬레이션 환경에서의 원격 조작에서는, 해당 시뮬레이터를 위해 특별히 설계된 이전 시스템과 비교하여 더 나은 모방 학습 성능을 보였습니다. 프로젝트 페이지: http://anyteleop.com/.

English

Vision-based teleoperation offers the possibility to endow robots with human-level intelligence to physically interact with the environment, while only requiring low-cost camera sensors. However, current vision-based teleoperation systems are designed and engineered towards a particular robot model and deploy environment, which scales poorly as the pool of the robot models expands and the variety of the operating environment increases. In this paper, we propose AnyTeleop, a unified and general teleoperation system to support multiple different arms, hands, realities, and camera configurations within a single system. Although being designed to provide great flexibility to the choice of simulators and real hardware, our system can still achieve great performance. For real-world experiments, AnyTeleop can outperform a previous system that was designed for a specific robot hardware with a higher success rate, using the same robot. For teleoperation in simulation, AnyTeleop leads to better imitation learning performance, compared with a previous system that is particularly designed for that simulator. Project page: http://anyteleop.com/.

AnyTeleop: 범용 비전 기반 정밀 로봇 팔-손 원격 조작 시스템

AnyTeleop: A General Vision-Based Dexterous Robot Arm-Hand Teleoperation System

초록

Support