DexArt: Benchmark per la Manipolazione Abile Generalizzabile con Oggetti Articolati

DexArt: Benchmarking Generalizable Dexterous Manipulation with Articulated Objects

May 9, 2023

Autori: Chen Bao, Helin Xu, Yuzhe Qin, Xiaolong Wang

cs.AI

Abstract

Per abilitare robot a scopo generale, sarà necessario che il robot operi quotidianamente su oggetti articolati come fanno gli esseri umani. Attualmente, la manipolazione robotica si è basata pesantemente sull'uso di una pinza parallela, che limita il robot a un insieme ristretto di oggetti. D'altro canto, operare con una mano robotica multi-dito consentirà una migliore approssimazione al comportamento umano e permetterà al robot di operare su una varietà di oggetti articolati. A tal fine, proponiamo un nuovo benchmark chiamato DexArt, che prevede la manipolazione dexterous di oggetti articolati in un simulatore fisico. Nel nostro benchmark, definiamo molteplici compiti di manipolazione complessi, e la mano robotica dovrà manipolare diversi oggetti articolati all'interno di ciascun compito. Il nostro obiettivo principale è valutare la generalizzabilità della politica appresa su oggetti articolati non visti in precedenza. Questo è molto impegnativo dati gli elevati gradi di libertà sia delle mani che degli oggetti. Utilizziamo il Reinforcement Learning con apprendimento di rappresentazione 3D per raggiungere la generalizzazione. Attraverso studi approfonditi, forniamo nuove intuizioni su come l'apprendimento di rappresentazione 3D influenzi il processo decisionale nel RL con input di nuvole di punti 3D. Ulteriori dettagli sono disponibili all'indirizzo https://www.chenbao.tech/dexart/.

English

To enable general-purpose robots, we will require the robot to operate daily articulated objects as humans do. Current robot manipulation has heavily relied on using a parallel gripper, which restricts the robot to a limited set of objects. On the other hand, operating with a multi-finger robot hand will allow better approximation to human behavior and enable the robot to operate on diverse articulated objects. To this end, we propose a new benchmark called DexArt, which involves Dexterous manipulation with Articulated objects in a physical simulator. In our benchmark, we define multiple complex manipulation tasks, and the robot hand will need to manipulate diverse articulated objects within each task. Our main focus is to evaluate the generalizability of the learned policy on unseen articulated objects. This is very challenging given the high degrees of freedom of both hands and objects. We use Reinforcement Learning with 3D representation learning to achieve generalization. Through extensive studies, we provide new insights into how 3D representation learning affects decision making in RL with 3D point cloud inputs. More details can be found at https://www.chenbao.tech/dexart/.