AnyTeleop: Un Sistema General de Teleoperación Visión-Guíada para Brazos y Manos Robóticas Diestras

AnyTeleop: A General Vision-Based Dexterous Robot Arm-Hand Teleoperation System

July 10, 2023

Autores: Yuzhe Qin, Wei Yang, Binghao Huang, Karl Van Wyk, Hao Su, Xiaolong Wang, Yu-Wei Chao, Dietor Fox

cs.AI

Resumen

La teleoperación basada en visión ofrece la posibilidad de dotar a los robots de inteligencia a nivel humano para interactuar físicamente con el entorno, requiriendo únicamente sensores de cámara de bajo costo. Sin embargo, los sistemas actuales de teleoperación basados en visión están diseñados y desarrollados para un modelo de robot y entorno de despliegue específicos, lo que escala de manera deficiente a medida que aumenta el conjunto de modelos de robots y la variedad de entornos operativos. En este artículo, proponemos AnyTeleop, un sistema de teleoperación unificado y general que admite múltiples brazos, manos, realidades y configuraciones de cámara dentro de un solo sistema. Aunque está diseñado para ofrecer una gran flexibilidad en la elección de simuladores y hardware real, nuestro sistema aún puede lograr un rendimiento excepcional. En experimentos del mundo real, AnyTeleop puede superar a un sistema anterior diseñado para un hardware de robot específico, obteniendo una tasa de éxito más alta con el mismo robot. Para la teleoperación en simulación, AnyTeleop conduce a un mejor rendimiento en el aprendizaje por imitación, en comparación con un sistema anterior diseñado específicamente para ese simulador. Página del proyecto: http://anyteleop.com/.

English

Vision-based teleoperation offers the possibility to endow robots with human-level intelligence to physically interact with the environment, while only requiring low-cost camera sensors. However, current vision-based teleoperation systems are designed and engineered towards a particular robot model and deploy environment, which scales poorly as the pool of the robot models expands and the variety of the operating environment increases. In this paper, we propose AnyTeleop, a unified and general teleoperation system to support multiple different arms, hands, realities, and camera configurations within a single system. Although being designed to provide great flexibility to the choice of simulators and real hardware, our system can still achieve great performance. For real-world experiments, AnyTeleop can outperform a previous system that was designed for a specific robot hardware with a higher success rate, using the same robot. For teleoperation in simulation, AnyTeleop leads to better imitation learning performance, compared with a previous system that is particularly designed for that simulator. Project page: http://anyteleop.com/.