DexArt: Evaluación de la Manipulación Diestra Generalizable con Objetos Articulados

DexArt: Benchmarking Generalizable Dexterous Manipulation with Articulated Objects

May 9, 2023

Autores: Chen Bao, Helin Xu, Yuzhe Qin, Xiaolong Wang

cs.AI

Resumen

Para habilitar robots de propósito general, necesitaremos que el robot opere objetos articulados diariamente como lo hacen los humanos. La manipulación robótica actual ha dependido en gran medida del uso de una pinza paralela, lo que restringe al robot a un conjunto limitado de objetos. Por otro lado, operar con una mano robótica multifuncional permitirá una mejor aproximación al comportamiento humano y posibilitará que el robot opere sobre diversos objetos articulados. Con este fin, proponemos un nuevo punto de referencia llamado DexArt, que implica manipulación diestra con objetos articulados en un simulador físico. En nuestro punto de referencia, definimos múltiples tareas de manipulación complejas, y la mano robótica deberá manipular diversos objetos articulados dentro de cada tarea. Nuestro enfoque principal es evaluar la generalización de la política aprendida en objetos articulados no vistos. Esto es muy desafiante dado los altos grados de libertad tanto de las manos como de los objetos. Utilizamos Aprendizaje por Refuerzo con aprendizaje de representación 3D para lograr la generalización. A través de estudios extensos, proporcionamos nuevas perspectivas sobre cómo el aprendizaje de representación 3D afecta la toma de decisiones en RL con entradas de nubes de puntos 3D. Más detalles se pueden encontrar en https://www.chenbao.tech/dexart/.

English

To enable general-purpose robots, we will require the robot to operate daily articulated objects as humans do. Current robot manipulation has heavily relied on using a parallel gripper, which restricts the robot to a limited set of objects. On the other hand, operating with a multi-finger robot hand will allow better approximation to human behavior and enable the robot to operate on diverse articulated objects. To this end, we propose a new benchmark called DexArt, which involves Dexterous manipulation with Articulated objects in a physical simulator. In our benchmark, we define multiple complex manipulation tasks, and the robot hand will need to manipulate diverse articulated objects within each task. Our main focus is to evaluate the generalizability of the learned policy on unseen articulated objects. This is very challenging given the high degrees of freedom of both hands and objects. We use Reinforcement Learning with 3D representation learning to achieve generalization. Through extensive studies, we provide new insights into how 3D representation learning affects decision making in RL with 3D point cloud inputs. More details can be found at https://www.chenbao.tech/dexart/.