Dextérité séquentielle : Enchaînement de politiques dextres pour la manipulation à long horizon

Sequential Dexterity: Chaining Dexterous Policies for Long-Horizon Manipulation

September 2, 2023

Auteurs: Yuanpei Chen, Chen Wang, Li Fei-Fei, C. Karen Liu

cs.AI

Résumé

De nombreuses tâches de manipulation dans le monde réel consistent en une série de sous-tâches qui diffèrent considérablement les unes des autres. Ces tâches complexes à long terme mettent en lumière le potentiel des mains dextres, qui possèdent une adaptabilité et une polyvalence leur permettant de passer de manière fluide entre différents modes de fonctionnement sans nécessiter de reprise de préhension ou d'outils externes. Cependant, les défis surgissent en raison de l'espace d'action à haute dimension des mains dextres et de la dynamique compositionnelle complexe des tâches à long terme. Nous présentons Sequential Dexterity, un système général basé sur l'apprentissage par renforcement (RL) qui enchaîne plusieurs politiques dextres pour atteindre des objectifs de tâches à long terme. Le cœur du système est une fonction de faisabilité de transition qui affine progressivement les sous-politiques pour améliorer le taux de réussite de l'enchaînement, tout en permettant un changement de politique autonome pour récupérer après des échecs et contourner des étapes redondantes. Bien qu'il ait été entraîné uniquement en simulation avec quelques objets de tâche, notre système démontre une capacité de généralisation à de nouvelles formes d'objets et est capable de transférer sans adaptation (zero-shot) à un robot réel équipé d'une main dextre. Plus de détails et des résultats vidéo sont disponibles à l'adresse suivante : https://sequential-dexterity.github.io.

English

Many real-world manipulation tasks consist of a series of subtasks that are significantly different from one another. Such long-horizon, complex tasks highlight the potential of dexterous hands, which possess adaptability and versatility, capable of seamlessly transitioning between different modes of functionality without the need for re-grasping or external tools. However, the challenges arise due to the high-dimensional action space of dexterous hand and complex compositional dynamics of the long-horizon tasks. We present Sequential Dexterity, a general system based on reinforcement learning (RL) that chains multiple dexterous policies for achieving long-horizon task goals. The core of the system is a transition feasibility function that progressively finetunes the sub-policies for enhancing chaining success rate, while also enables autonomous policy-switching for recovery from failures and bypassing redundant stages. Despite being trained only in simulation with a few task objects, our system demonstrates generalization capability to novel object shapes and is able to zero-shot transfer to a real-world robot equipped with a dexterous hand. More details and video results could be found at https://sequential-dexterity.github.io