Mettre la Machine en Marche : Apprentissage d'une Politique Habile pour une Main Biomimétique à Tendons avec Articulations à Contact Roulant

Getting the Ball Rolling: Learning a Dexterous Policy for a Biomimetic Tendon-Driven Hand with Rolling Contact Joints

August 4, 2023

papers.authors: Yasunori Toshimitsu, Benedek Forrai, Barnabas Gavin Cangan, Ulrich Steger, Manuel Knecht, Stefan Weirich, Robert K. Katzschmann

cs.AI

papers.abstract

Les mains robotiques biomimétiques et habiles ont le potentiel de reproduire une grande partie des tâches qu'un humain peut accomplir, et d'atteindre le statut de plateforme de manipulation générale. Les récents progrès dans les cadres d'apprentissage par renforcement (RL) ont permis d'obtenir des performances remarquables dans les tâches de locomotion quadrupède et de manipulation habile. Combinés à des simulations hautement parallélisées basées sur GPU capables de simuler des milliers de robots en parallèle, les contrôleurs basés sur RL sont devenus plus évolutifs et accessibles. Cependant, pour transposer les politiques entraînées par RL dans le monde réel, nous avons besoin de cadres de formation qui produisent des politiques compatibles avec les actionneurs et capteurs physiques, ainsi que d'une plateforme matérielle pouvant être fabriquée avec des matériaux accessibles tout en étant suffisamment robuste pour exécuter des politiques interactives. Ce travail présente la main Faive à entraînement tendineux biomimétique et son architecture système, qui utilise des articulations à contact roulant entraînées par des tendons pour réaliser une conception de main à degrés de liberté élevés, robuste et imprimable en 3D. Nous modélisons chaque élément de la main et l'intégrons dans un environnement de simulation GPU pour entraîner une politique avec RL, et parvenons à un transfert à zéro coup d'une compétence de rotation sphérique habile dans la main vers la main robotique physique.

English

Biomimetic, dexterous robotic hands have the potential to replicate much of the tasks that a human can do, and to achieve status as a general manipulation platform. Recent advances in reinforcement learning (RL) frameworks have achieved remarkable performance in quadrupedal locomotion and dexterous manipulation tasks. Combined with GPU-based highly parallelized simulations capable of simulating thousands of robots in parallel, RL-based controllers have become more scalable and approachable. However, in order to bring RL-trained policies to the real world, we require training frameworks that output policies that can work with physical actuators and sensors as well as a hardware platform that can be manufactured with accessible materials yet is robust enough to run interactive policies. This work introduces the biomimetic tendon-driven Faive Hand and its system architecture, which uses tendon-driven rolling contact joints to achieve a 3D printable, robust high-DoF hand design. We model each element of the hand and integrate it into a GPU simulation environment to train a policy with RL, and achieve zero-shot transfer of a dexterous in-hand sphere rotation skill to the physical robot hand.