DexArt: Benchmarking generalisierbarer geschickter Manipulation mit artikulierten Objekten

DexArt: Benchmarking Generalizable Dexterous Manipulation with Articulated Objects

May 9, 2023

Autoren: Chen Bao, Helin Xu, Yuzhe Qin, Xiaolong Wang

cs.AI

Zusammenfassung

Um universell einsetzbare Roboter zu ermöglichen, müssen wir den Roboter in die Lage versetzen, täglich artikulierte Objekte wie ein Mensch zu bedienen. Die derzeitige Roboter-Manipulation hat sich stark auf die Verwendung eines Parallelgreifers gestützt, was den Roboter auf eine begrenzte Anzahl von Objekten beschränkt. Andererseits ermöglicht der Einsatz einer mehrfingrigen Roboterhand eine bessere Annäherung an menschliches Verhalten und erlaubt es dem Roboter, diverse artikulierte Objekte zu bedienen. Zu diesem Zweck schlagen wir einen neuen Benchmark namens DexArt vor, der geschickte Manipulation mit artikulierten Objekten in einem physikalischen Simulator beinhaltet. In unserem Benchmark definieren wir mehrere komplexe Manipulationsaufgaben, bei denen die Roboterhand diverse artikulierte Objekte innerhalb jeder Aufgabe manipulieren muss. Unser Hauptaugenmerk liegt darauf, die Generalisierbarkeit der erlernten Strategie auf unbekannte artikulierte Objekte zu bewerten. Dies ist aufgrund der hohen Freiheitsgrade sowohl der Hände als auch der Objekte sehr anspruchsvoll. Wir verwenden Reinforcement Learning in Kombination mit 3D-Repräsentationslernen, um Generalisierung zu erreichen. Durch umfangreiche Studien liefern wir neue Erkenntnisse darüber, wie 3D-Repräsentationslernen die Entscheidungsfindung in RL mit 3D-Punktwolken-Eingaben beeinflusst. Weitere Details finden Sie unter https://www.chenbao.tech/dexart/.

English

To enable general-purpose robots, we will require the robot to operate daily articulated objects as humans do. Current robot manipulation has heavily relied on using a parallel gripper, which restricts the robot to a limited set of objects. On the other hand, operating with a multi-finger robot hand will allow better approximation to human behavior and enable the robot to operate on diverse articulated objects. To this end, we propose a new benchmark called DexArt, which involves Dexterous manipulation with Articulated objects in a physical simulator. In our benchmark, we define multiple complex manipulation tasks, and the robot hand will need to manipulate diverse articulated objects within each task. Our main focus is to evaluate the generalizability of the learned policy on unseen articulated objects. This is very challenging given the high degrees of freedom of both hands and objects. We use Reinforcement Learning with 3D representation learning to achieve generalization. Through extensive studies, we provide new insights into how 3D representation learning affects decision making in RL with 3D point cloud inputs. More details can be found at https://www.chenbao.tech/dexart/.