DexArt: 関節を持つ物体に対する汎用的な巧緻操作のベンチマーキング

DexArt: Benchmarking Generalizable Dexterous Manipulation with Articulated Objects

May 9, 2023

著者: Chen Bao, Helin Xu, Yuzhe Qin, Xiaolong Wang

cs.AI

要旨

汎用ロボットを実現するためには、ロボットが人間のように日常的に可動物体を操作できる必要があります。現在のロボット操作は、平行グリッパーの使用に大きく依存しており、これによりロボットが扱える物体の種類が制限されています。一方、多指ロボットハンドを使用することで、人間の動作により近い操作が可能になり、多様な可動物体を扱えるようになります。この目的のために、物理シミュレータ内での可動物体を用いた器用な操作を対象とした新しいベンチマーク「DexArt」を提案します。このベンチマークでは、複数の複雑な操作タスクを定義し、ロボットハンドが各タスク内で多様な可動物体を操作する必要があります。私たちの主な焦点は、未見の可動物体に対する学習済みポリシーの汎化性能を評価することです。これは、手と物体の双方が高い自由度を持つことを考えると非常に困難な課題です。汎化を達成するために、3D表現学習を組み合わせた強化学習を使用します。広範な研究を通じて、3D点群入力を用いた強化学習において、3D表現学習が意思決定にどのように影響するかについて新たな知見を提供します。詳細はhttps://www.chenbao.tech/dexart/をご覧ください。

English

To enable general-purpose robots, we will require the robot to operate daily articulated objects as humans do. Current robot manipulation has heavily relied on using a parallel gripper, which restricts the robot to a limited set of objects. On the other hand, operating with a multi-finger robot hand will allow better approximation to human behavior and enable the robot to operate on diverse articulated objects. To this end, we propose a new benchmark called DexArt, which involves Dexterous manipulation with Articulated objects in a physical simulator. In our benchmark, we define multiple complex manipulation tasks, and the robot hand will need to manipulate diverse articulated objects within each task. Our main focus is to evaluate the generalizability of the learned policy on unseen articulated objects. This is very challenging given the high degrees of freedom of both hands and objects. We use Reinforcement Learning with 3D representation learning to achieve generalization. Through extensive studies, we provide new insights into how 3D representation learning affects decision making in RL with 3D point cloud inputs. More details can be found at https://www.chenbao.tech/dexart/.