AnyTeleop: Un Sistema Generale di Teleoperazione Vision-Based per Braccio-Manipolatore Robotico Dextroso

AnyTeleop: A General Vision-Based Dexterous Robot Arm-Hand Teleoperation System

July 10, 2023

Autori: Yuzhe Qin, Wei Yang, Binghao Huang, Karl Van Wyk, Hao Su, Xiaolong Wang, Yu-Wei Chao, Dietor Fox

cs.AI

Abstract

La teleoperazione basata sulla visione offre la possibilità di dotare i robot di un'intelligenza di livello umano per interagire fisicamente con l'ambiente, richiedendo solo sensori a basso costo come le telecamere. Tuttavia, gli attuali sistemi di teleoperazione basati sulla visione sono progettati e ingegnerizzati per un particolare modello di robot e ambiente di utilizzo, il che si traduce in una scarsa scalabilità man mano che il numero di modelli di robot si espande e la varietà degli ambienti operativi aumenta. In questo articolo, proponiamo AnyTeleop, un sistema di teleoperazione unificato e generale in grado di supportare diverse braccia, mani, realtà e configurazioni di telecamere all'interno di un unico sistema. Nonostante sia progettato per offrire grande flessibilità nella scelta di simulatori e hardware reale, il nostro sistema è comunque in grado di ottenere prestazioni eccellenti. Negli esperimenti nel mondo reale, AnyTeleop supera un sistema precedente progettato per un hardware robotico specifico, ottenendo un tasso di successo più elevato utilizzando lo stesso robot. Per la teleoperazione in simulazione, AnyTeleop porta a migliori prestazioni nell'apprendimento per imitazione rispetto a un sistema precedente progettato specificamente per quel simulatore. Pagina del progetto: http://anyteleop.com/.

English

Vision-based teleoperation offers the possibility to endow robots with human-level intelligence to physically interact with the environment, while only requiring low-cost camera sensors. However, current vision-based teleoperation systems are designed and engineered towards a particular robot model and deploy environment, which scales poorly as the pool of the robot models expands and the variety of the operating environment increases. In this paper, we propose AnyTeleop, a unified and general teleoperation system to support multiple different arms, hands, realities, and camera configurations within a single system. Although being designed to provide great flexibility to the choice of simulators and real hardware, our system can still achieve great performance. For real-world experiments, AnyTeleop can outperform a previous system that was designed for a specific robot hardware with a higher success rate, using the same robot. For teleoperation in simulation, AnyTeleop leads to better imitation learning performance, compared with a previous system that is particularly designed for that simulator. Project page: http://anyteleop.com/.