DexArt: Avaliação de Manipulação Habilidosa Generalizável com Objetos Articulados

DexArt: Benchmarking Generalizable Dexterous Manipulation with Articulated Objects

May 9, 2023

Autores: Chen Bao, Helin Xu, Yuzhe Qin, Xiaolong Wang

cs.AI

Resumo

Para habilitar robôs de propósito geral, será necessário que o robô opere objetos articulados diariamente, como os humanos fazem. Atualmente, a manipulação robótica tem dependido fortemente do uso de uma garra paralela, o que restringe o robô a um conjunto limitado de objetos. Por outro lado, operar com uma mão robótica multifuncional permitirá uma melhor aproximação ao comportamento humano e capacitará o robô a operar em diversos objetos articulados. Para esse fim, propomos um novo benchmark chamado DexArt, que envolve manipulação destra com objetos articulados em um simulador físico. Em nosso benchmark, definimos várias tarefas complexas de manipulação, e a mão robótica precisará manipular diversos objetos articulados em cada tarefa. Nosso foco principal é avaliar a generalização da política aprendida em objetos articulados não vistos. Isso é muito desafiador, considerando os altos graus de liberdade tanto das mãos quanto dos objetos. Utilizamos Aprendizado por Reforço com aprendizado de representação 3D para alcançar generalização. Através de estudos extensivos, fornecemos novos insights sobre como o aprendizado de representação 3D afeta a tomada de decisão no Aprendizado por Reforço com entradas de nuvem de pontos 3D. Mais detalhes podem ser encontrados em https://www.chenbao.tech/dexart/.

English

To enable general-purpose robots, we will require the robot to operate daily articulated objects as humans do. Current robot manipulation has heavily relied on using a parallel gripper, which restricts the robot to a limited set of objects. On the other hand, operating with a multi-finger robot hand will allow better approximation to human behavior and enable the robot to operate on diverse articulated objects. To this end, we propose a new benchmark called DexArt, which involves Dexterous manipulation with Articulated objects in a physical simulator. In our benchmark, we define multiple complex manipulation tasks, and the robot hand will need to manipulate diverse articulated objects within each task. Our main focus is to evaluate the generalizability of the learned policy on unseen articulated objects. This is very challenging given the high degrees of freedom of both hands and objects. We use Reinforcement Learning with 3D representation learning to achieve generalization. Through extensive studies, we provide new insights into how 3D representation learning affects decision making in RL with 3D point cloud inputs. More details can be found at https://www.chenbao.tech/dexart/.