AnyTeleop: Een Algemeen Visiegebaseerd Systeem voor Behendige Teleoperatie van Robotarmen en -handen

AnyTeleop: A General Vision-Based Dexterous Robot Arm-Hand Teleoperation System

July 10, 2023

Auteurs: Yuzhe Qin, Wei Yang, Binghao Huang, Karl Van Wyk, Hao Su, Xiaolong Wang, Yu-Wei Chao, Dietor Fox

cs.AI

Samenvatting

Visiegebaseerde teleoperatie biedt de mogelijkheid om robots te voorzien van menselijk niveau van intelligentie om fysiek te interageren met de omgeving, terwijl alleen goedkope camerasensoren nodig zijn. Huidige visiegebaseerde teleoperatiesystemen zijn echter ontworpen en ontwikkeld voor een specifiek robotmodel en inzetomgeving, wat slecht schaalt naarmate het aantal robotmodellen toeneemt en de verscheidenheid aan werkomgevingen groeit. In dit artikel stellen we AnyTeleop voor, een uniform en algemeen teleoperatiesysteem dat meerdere verschillende armen, handen, realiteiten en cameraconfiguraties ondersteunt binnen één systeem. Hoewel het systeem is ontworpen om grote flexibiliteit te bieden in de keuze van simulators en echte hardware, kan het nog steeds uitstekende prestaties leveren. Voor experimenten in de echte wereld kan AnyTeleop een eerder systeem dat specifiek is ontworpen voor een bepaalde robothardware overtreffen met een hoger slagingspercentage, met gebruik van dezelfde robot. Voor teleoperatie in simulatie leidt AnyTeleop tot betere imitatielerenprestaties in vergelijking met een eerder systeem dat specifiek is ontworpen voor die simulator. Projectpagina: http://anyteleop.com/.

English

Vision-based teleoperation offers the possibility to endow robots with human-level intelligence to physically interact with the environment, while only requiring low-cost camera sensors. However, current vision-based teleoperation systems are designed and engineered towards a particular robot model and deploy environment, which scales poorly as the pool of the robot models expands and the variety of the operating environment increases. In this paper, we propose AnyTeleop, a unified and general teleoperation system to support multiple different arms, hands, realities, and camera configurations within a single system. Although being designed to provide great flexibility to the choice of simulators and real hardware, our system can still achieve great performance. For real-world experiments, AnyTeleop can outperform a previous system that was designed for a specific robot hardware with a higher success rate, using the same robot. For teleoperation in simulation, AnyTeleop leads to better imitation learning performance, compared with a previous system that is particularly designed for that simulator. Project page: http://anyteleop.com/.