AnyTeleop: Um Sistema Geral de Teleoperação Visão-Baseada para Braço-Mão Robóticos Destros

AnyTeleop: A General Vision-Based Dexterous Robot Arm-Hand Teleoperation System

July 10, 2023

Autores: Yuzhe Qin, Wei Yang, Binghao Huang, Karl Van Wyk, Hao Su, Xiaolong Wang, Yu-Wei Chao, Dietor Fox

cs.AI

Resumo

A teleoperação baseada em visão oferece a possibilidade de dotar robôs com inteligência de nível humano para interagir fisicamente com o ambiente, exigindo apenas sensores de câmera de baixo custo. No entanto, os sistemas atuais de teleoperação baseada em visão são projetados e desenvolvidos para um modelo específico de robô e ambiente de implantação, o que não escala bem à medida que o conjunto de modelos de robôs se expande e a variedade do ambiente operacional aumenta. Neste artigo, propomos o AnyTeleop, um sistema de teleoperação unificado e geral para suportar múltiplos braços, mãos, realidades e configurações de câmera dentro de um único sistema. Embora projetado para oferecer grande flexibilidade na escolha de simuladores e hardware real, nosso sistema ainda pode alcançar um desempenho excelente. Para experimentos no mundo real, o AnyTeleop pode superar um sistema anterior projetado para um hardware específico de robô com uma taxa de sucesso maior, utilizando o mesmo robô. Para teleoperação em simulação, o AnyTeleop resulta em um melhor desempenho de aprendizado por imitação, comparado com um sistema anterior projetado especificamente para aquele simulador. Página do projeto: http://anyteleop.com/.

English

Vision-based teleoperation offers the possibility to endow robots with human-level intelligence to physically interact with the environment, while only requiring low-cost camera sensors. However, current vision-based teleoperation systems are designed and engineered towards a particular robot model and deploy environment, which scales poorly as the pool of the robot models expands and the variety of the operating environment increases. In this paper, we propose AnyTeleop, a unified and general teleoperation system to support multiple different arms, hands, realities, and camera configurations within a single system. Although being designed to provide great flexibility to the choice of simulators and real hardware, our system can still achieve great performance. For real-world experiments, AnyTeleop can outperform a previous system that was designed for a specific robot hardware with a higher success rate, using the same robot. For teleoperation in simulation, AnyTeleop leads to better imitation learning performance, compared with a previous system that is particularly designed for that simulator. Project page: http://anyteleop.com/.