AnyTeleop: Ein allgemeines visionbasiertes Teleoperationssystem für geschickte Roboterarme und -hände

AnyTeleop: A General Vision-Based Dexterous Robot Arm-Hand Teleoperation System

July 10, 2023

Autoren: Yuzhe Qin, Wei Yang, Binghao Huang, Karl Van Wyk, Hao Su, Xiaolong Wang, Yu-Wei Chao, Dietor Fox

cs.AI

Zusammenfassung

Vision-basierte Teleoperation bietet die Möglichkeit, Robotern menschliche Intelligenz zu verleihen, um physisch mit der Umgebung zu interagieren, während nur kostengünstige Kamerasensoren benötigt werden. Allerdings sind aktuelle vision-basierte Teleoperationssysteme auf ein bestimmtes Robotermodell und Einsatzumgebung ausgelegt und entwickelt, was sich schlecht skalieren lässt, wenn die Anzahl der Robotermodelle wächst und die Vielfalt der Einsatzumgebungen zunimmt. In diesem Artikel schlagen wir AnyTeleop vor, ein einheitliches und allgemeines Teleoperationssystem, das mehrere verschiedene Arme, Greifer, Realitäten und Kamerakonfigurationen innerhalb eines einzigen Systems unterstützt. Obwohl unser System darauf ausgelegt ist, große Flexibilität bei der Wahl von Simulatoren und echter Hardware zu bieten, kann es dennoch eine hervorragende Leistung erzielen. Bei Experimenten in der realen Welt kann AnyTeleop ein früheres System, das für eine spezifische Roboterhardware entwickelt wurde, mit einer höheren Erfolgsrate übertreffen, wobei derselbe Roboter verwendet wird. Für die Teleoperation in der Simulation führt AnyTeleop zu einer besseren Imitationslernleistung im Vergleich zu einem früheren System, das speziell für diesen Simulator entwickelt wurde. Projektseite: http://anyteleop.com/.

English

Vision-based teleoperation offers the possibility to endow robots with human-level intelligence to physically interact with the environment, while only requiring low-cost camera sensors. However, current vision-based teleoperation systems are designed and engineered towards a particular robot model and deploy environment, which scales poorly as the pool of the robot models expands and the variety of the operating environment increases. In this paper, we propose AnyTeleop, a unified and general teleoperation system to support multiple different arms, hands, realities, and camera configurations within a single system. Although being designed to provide great flexibility to the choice of simulators and real hardware, our system can still achieve great performance. For real-world experiments, AnyTeleop can outperform a previous system that was designed for a specific robot hardware with a higher success rate, using the same robot. For teleoperation in simulation, AnyTeleop leads to better imitation learning performance, compared with a previous system that is particularly designed for that simulator. Project page: http://anyteleop.com/.