Destrezza Sequenziale: Concatenazione di Politiche Abili per la Manipolazione a Lungo Orizzonte

Sequential Dexterity: Chaining Dexterous Policies for Long-Horizon Manipulation

September 2, 2023

Autori: Yuanpei Chen, Chen Wang, Li Fei-Fei, C. Karen Liu

cs.AI

Abstract

Molte attività di manipolazione nel mondo reale consistono in una serie di sottocompiti significativamente diversi tra loro. Questi compiti complessi e a lungo termine evidenziano il potenziale delle mani robotiche, che possiedono adattabilità e versatilità, essendo in grado di passare senza soluzione di continuità tra diverse modalità funzionali senza la necessità di riafferrare oggetti o utilizzare strumenti esterni. Tuttavia, le sfide sorgono a causa dello spazio d'azione ad alta dimensionalità della mano robotica e delle dinamiche compositive complesse dei compiti a lungo termine. Presentiamo Sequential Dexterity, un sistema generale basato sull'apprendimento per rinforzo (RL) che collega più politiche di controllo per raggiungere obiettivi di compiti a lungo termine. Il cuore del sistema è una funzione di fattibilità di transizione che affina progressivamente le sottopolitiche per aumentare il tasso di successo nella concatenazione, consentendo anche il passaggio autonomo tra politiche per il recupero da errori e il superamento di fasi ridondanti. Nonostante sia stato addestrato solo in simulazione con pochi oggetti di compito, il nostro sistema dimostra capacità di generalizzazione a nuove forme di oggetti ed è in grado di trasferire in modalità zero-shot a un robot reale dotato di una mano robotica. Ulteriori dettagli e risultati video sono disponibili su https://sequential-dexterity.github.io.

English

Many real-world manipulation tasks consist of a series of subtasks that are significantly different from one another. Such long-horizon, complex tasks highlight the potential of dexterous hands, which possess adaptability and versatility, capable of seamlessly transitioning between different modes of functionality without the need for re-grasping or external tools. However, the challenges arise due to the high-dimensional action space of dexterous hand and complex compositional dynamics of the long-horizon tasks. We present Sequential Dexterity, a general system based on reinforcement learning (RL) that chains multiple dexterous policies for achieving long-horizon task goals. The core of the system is a transition feasibility function that progressively finetunes the sub-policies for enhancing chaining success rate, while also enables autonomous policy-switching for recovery from failures and bypassing redundant stages. Despite being trained only in simulation with a few task objects, our system demonstrates generalization capability to novel object shapes and is able to zero-shot transfer to a real-world robot equipped with a dexterous hand. More details and video results could be found at https://sequential-dexterity.github.io