AnyTeleop: Универсальная система телеуправления манипулятором и кистью робота на основе компьютерного зрения

AnyTeleop: A General Vision-Based Dexterous Robot Arm-Hand Teleoperation System

July 10, 2023

Авторы: Yuzhe Qin, Wei Yang, Binghao Huang, Karl Van Wyk, Hao Su, Xiaolong Wang, Yu-Wei Chao, Dietor Fox

cs.AI

Аннотация

Телеуправление на основе зрения предлагает возможность наделить роботов интеллектом человеческого уровня для физического взаимодействия с окружающей средой, требуя при этом только недорогих камер. Однако современные системы телеуправления на основе зрения проектируются и разрабатываются для конкретной модели робота и среды развертывания, что плохо масштабируется по мере увеличения разнообразия моделей роботов и условий эксплуатации. В данной статье мы представляем AnyTeleop — унифицированную и общую систему телеуправления, которая поддерживает множество различных манипуляторов, захватов, реальностей и конфигураций камер в рамках одной системы. Несмотря на то, что система разработана для обеспечения высокой гибкости в выборе симуляторов и реального оборудования, она по-прежнему демонстрирует отличную производительность. В реальных экспериментах AnyTeleop превосходит предыдущую систему, разработанную для конкретного аппаратного обеспечения робота, с более высоким процентом успеха, используя того же робота. Для телеуправления в симуляции AnyTeleop обеспечивает лучшие результаты в обучении с имитацией по сравнению с предыдущей системой, специально разработанной для этого симулятора. Страница проекта: http://anyteleop.com/.

English

Vision-based teleoperation offers the possibility to endow robots with human-level intelligence to physically interact with the environment, while only requiring low-cost camera sensors. However, current vision-based teleoperation systems are designed and engineered towards a particular robot model and deploy environment, which scales poorly as the pool of the robot models expands and the variety of the operating environment increases. In this paper, we propose AnyTeleop, a unified and general teleoperation system to support multiple different arms, hands, realities, and camera configurations within a single system. Although being designed to provide great flexibility to the choice of simulators and real hardware, our system can still achieve great performance. For real-world experiments, AnyTeleop can outperform a previous system that was designed for a specific robot hardware with a higher success rate, using the same robot. For teleoperation in simulation, AnyTeleop leads to better imitation learning performance, compared with a previous system that is particularly designed for that simulator. Project page: http://anyteleop.com/.