Sequentieel Handvaardigheid: Het Koppelen van Handvaardigheidsbeleid voor Manipulatie op Lange Termijn
Sequential Dexterity: Chaining Dexterous Policies for Long-Horizon Manipulation
September 2, 2023
Auteurs: Yuanpei Chen, Chen Wang, Li Fei-Fei, C. Karen Liu
cs.AI
Samenvatting
Veel real-world manipulatietaken bestaan uit een reeks subtaken die aanzienlijk van elkaar verschillen. Dergelijke langetermijn, complexe taken benadrukken het potentieel van behendige handen, die beschikken over aanpassingsvermogen en veelzijdigheid, en in staat zijn om naadloos over te schakelen tussen verschillende functionaliteitsmodi zonder de noodzaak van hergrepen of externe hulpmiddelen. De uitdagingen ontstaan echter door de hoogdimensionale actieruimte van de behendige hand en de complexe samenstellende dynamiek van de langetermijntaken. Wij presenteren Sequential Dexterity, een algemeen systeem gebaseerd op reinforcement learning (RL) dat meerdere behendige beleidsregels aan elkaar koppelt om langetermijntaakdoelen te bereiken. De kern van het systeem is een transitiehaalbaarheidsfunctie die de subbeleidsregels progressief verfijnt om de koppelingssuccesratio te verhogen, terwijl het ook autonoom beleidsomschakeling mogelijk maakt voor herstel van fouten en het omzeilen van overbodige fasen. Ondanks dat het alleen in simulatie is getraind met een paar taakobjecten, toont ons systeem generalisatievermogen naar nieuwe objectvormen en is het in staat om zero-shot over te dragen naar een real-world robot uitgerust met een behendige hand. Meer details en videoresultaten zijn te vinden op https://sequential-dexterity.github.io.
English
Many real-world manipulation tasks consist of a series of subtasks that are
significantly different from one another. Such long-horizon, complex tasks
highlight the potential of dexterous hands, which possess adaptability and
versatility, capable of seamlessly transitioning between different modes of
functionality without the need for re-grasping or external tools. However, the
challenges arise due to the high-dimensional action space of dexterous hand and
complex compositional dynamics of the long-horizon tasks. We present Sequential
Dexterity, a general system based on reinforcement learning (RL) that chains
multiple dexterous policies for achieving long-horizon task goals. The core of
the system is a transition feasibility function that progressively finetunes
the sub-policies for enhancing chaining success rate, while also enables
autonomous policy-switching for recovery from failures and bypassing redundant
stages. Despite being trained only in simulation with a few task objects, our
system demonstrates generalization capability to novel object shapes and is
able to zero-shot transfer to a real-world robot equipped with a dexterous
hand. More details and video results could be found at
https://sequential-dexterity.github.io