DexArt: 관절형 물체를 활용한 일반화 가능한 정교한 조작 능력 벤치마킹

DexArt: Benchmarking Generalizable Dexterous Manipulation with Articulated Objects

May 9, 2023

저자: Chen Bao, Helin Xu, Yuzhe Qin, Xiaolong Wang

cs.AI

초록

범용 로봇을 구현하기 위해서는 로봇이 인간과 같이 일상적으로 관절형 물체를 조작할 수 있어야 합니다. 현재의 로봇 조작은 주로 평행 그리퍼를 사용하는 데 의존하고 있어, 로봇이 다룰 수 있는 물체의 범위가 제한적입니다. 반면, 다지 로봇 손을 사용하면 인간의 행동에 더 가깝게 근사할 수 있으며, 다양한 관절형 물체를 조작할 수 있게 됩니다. 이를 위해 우리는 물리 시뮬레이터 내에서 관절형 물체를 능숙하게 조작하는 'DexArt'라는 새로운 벤치마크를 제안합니다. 이 벤치마크에서는 여러 복잡한 조작 작업을 정의하고, 각 작업 내에서 로봇 손이 다양한 관절형 물체를 조작해야 합니다. 우리의 주요 초점은 학습된 정책이 보지 못한 관절형 물체에 대해 일반화 능력을 평가하는 데 있습니다. 이는 손과 물체 모두의 높은 자유도로 인해 매우 도전적인 과제입니다. 우리는 일반화를 달성하기 위해 3D 표현 학습과 강화 학습을 결합하여 사용합니다. 광범위한 연구를 통해 3D 포인트 클라우드 입력을 사용한 강화 학습에서 3D 표현 학습이 의사결정에 미치는 영향에 대한 새로운 통찰을 제공합니다. 자세한 내용은 https://www.chenbao.tech/dexart/에서 확인할 수 있습니다.

English

To enable general-purpose robots, we will require the robot to operate daily articulated objects as humans do. Current robot manipulation has heavily relied on using a parallel gripper, which restricts the robot to a limited set of objects. On the other hand, operating with a multi-finger robot hand will allow better approximation to human behavior and enable the robot to operate on diverse articulated objects. To this end, we propose a new benchmark called DexArt, which involves Dexterous manipulation with Articulated objects in a physical simulator. In our benchmark, we define multiple complex manipulation tasks, and the robot hand will need to manipulate diverse articulated objects within each task. Our main focus is to evaluate the generalizability of the learned policy on unseen articulated objects. This is very challenging given the high degrees of freedom of both hands and objects. We use Reinforcement Learning with 3D representation learning to achieve generalization. Through extensive studies, we provide new insights into how 3D representation learning affects decision making in RL with 3D point cloud inputs. More details can be found at https://www.chenbao.tech/dexart/.