DexArt: Оценка обобщаемых навыков ловкого манипулирования с использованием шарнирных объектов

DexArt: Benchmarking Generalizable Dexterous Manipulation with Articulated Objects

May 9, 2023

Авторы: Chen Bao, Helin Xu, Yuzhe Qin, Xiaolong Wang

cs.AI

Аннотация

Для создания универсальных роботов необходимо, чтобы они могли ежедневно взаимодействовать с шарнирными объектами так же, как это делают люди. Современные манипуляции роботов в значительной степени полагаются на использование параллельного захвата, что ограничивает робота работой с узким набором объектов. С другой стороны, использование многофункциональной роботизированной руки с несколькими пальцами позволит лучше приблизить поведение робота к человеческому и даст возможность работать с разнообразными шарнирными объектами. С этой целью мы предлагаем новый эталонный тест под названием DexArt, который включает в себя ловкие манипуляции с шарнирными объектами в физическом симуляторе. В нашем тесте мы определяем несколько сложных задач по манипуляции, в рамках которых роботизированная рука должна взаимодействовать с различными шарнирными объектами. Основное внимание уделяется оценке обобщаемости изученной стратегии на ранее не встречавшиеся шарнирные объекты. Это крайне сложная задача, учитывая высокую степень свободы как рук, так и объектов. Мы используем обучение с подкреплением в сочетании с обучением 3D-представлений для достижения обобщения. В ходе обширных исследований мы предоставляем новые данные о том, как обучение 3D-представлений влияет на принятие решений в обучении с подкреплением при работе с входными данными в виде 3D-облаков точек. Подробнее можно узнать на сайте https://www.chenbao.tech/dexart/.

English

To enable general-purpose robots, we will require the robot to operate daily articulated objects as humans do. Current robot manipulation has heavily relied on using a parallel gripper, which restricts the robot to a limited set of objects. On the other hand, operating with a multi-finger robot hand will allow better approximation to human behavior and enable the robot to operate on diverse articulated objects. To this end, we propose a new benchmark called DexArt, which involves Dexterous manipulation with Articulated objects in a physical simulator. In our benchmark, we define multiple complex manipulation tasks, and the robot hand will need to manipulate diverse articulated objects within each task. Our main focus is to evaluate the generalizability of the learned policy on unseen articulated objects. This is very challenging given the high degrees of freedom of both hands and objects. We use Reinforcement Learning with 3D representation learning to achieve generalization. Through extensive studies, we provide new insights into how 3D representation learning affects decision making in RL with 3D point cloud inputs. More details can be found at https://www.chenbao.tech/dexart/.