AnyTeleop : Un système général de téléopération vision-based pour bras robotique préhensile

AnyTeleop: A General Vision-Based Dexterous Robot Arm-Hand Teleoperation System

July 10, 2023

Auteurs: Yuzhe Qin, Wei Yang, Binghao Huang, Karl Van Wyk, Hao Su, Xiaolong Wang, Yu-Wei Chao, Dietor Fox

cs.AI

Résumé

La téléopération basée sur la vision offre la possibilité de doter les robots d'une intelligence de niveau humain pour interagir physiquement avec l'environnement, tout en ne nécessitant que des capteurs caméra à faible coût. Cependant, les systèmes actuels de téléopération basée sur la vision sont conçus et développés pour un modèle de robot et un environnement de déploiement spécifiques, ce qui limite leur évolutivité à mesure que le nombre de modèles de robots augmente et que la variété des environnements opérationnels s'accroît. Dans cet article, nous proposons AnyTeleop, un système de téléopération unifié et général capable de prendre en charge plusieurs bras, mains, réalités et configurations de caméra au sein d'un même système. Bien que conçu pour offrir une grande flexibilité dans le choix des simulateurs et du matériel réel, notre système parvient tout de même à atteindre des performances remarquables. Pour les expériences en monde réel, AnyTeleop surpasse un système précédent conçu pour un matériel robotique spécifique, avec un taux de réussite plus élevé, en utilisant le même robot. Pour la téléopération en simulation, AnyTeleop conduit à de meilleures performances en apprentissage par imitation, comparé à un système précédent spécialement conçu pour ce simulateur. Page du projet : http://anyteleop.com/.

English

Vision-based teleoperation offers the possibility to endow robots with human-level intelligence to physically interact with the environment, while only requiring low-cost camera sensors. However, current vision-based teleoperation systems are designed and engineered towards a particular robot model and deploy environment, which scales poorly as the pool of the robot models expands and the variety of the operating environment increases. In this paper, we propose AnyTeleop, a unified and general teleoperation system to support multiple different arms, hands, realities, and camera configurations within a single system. Although being designed to provide great flexibility to the choice of simulators and real hardware, our system can still achieve great performance. For real-world experiments, AnyTeleop can outperform a previous system that was designed for a specific robot hardware with a higher success rate, using the same robot. For teleoperation in simulation, AnyTeleop leads to better imitation learning performance, compared with a previous system that is particularly designed for that simulator. Project page: http://anyteleop.com/.