MyoDex: Een generaliseerbare prior voor behendige manipulatie

MyoDex: A Generalizable Prior for Dexterous Manipulation

September 6, 2023

Auteurs: Vittorio Caggiano, Sudeep Dasari, Vikash Kumar

cs.AI

Samenvatting

Menselijke behendigheid is een kenmerk van motorische controle. Onze handen kunnen snel nieuwe gedragingen synthetiseren ondanks de complexiteit (multi-articulair en multi-gewrichten, met 23 gewrichten die worden aangestuurd door meer dan 40 spieren) van het musculoskeletale sensorimotorische systeem. In dit werk laten we ons inspireren door hoe menselijke behendigheid voortbouwt op een verscheidenheid aan eerdere ervaringen, in plaats van te worden verworven via een enkele taak. Gemotiveerd door deze observatie, hebben we ons ten doel gesteld om agents te ontwikkelen die kunnen voortbouwen op hun eerdere ervaring om snel nieuwe (voorheen onbereikbare) gedragingen te verwerven. Specifiek maakt onze aanpak gebruik van multi-task learning om impliciet taakonafhankelijke gedrags-priors (MyoDex) vast te leggen voor mensachtige behendigheid, met behulp van een fysiologisch realistisch menselijk handmodel - MyoHand. We demonstreren de effectiviteit van MyoDex in few-shot generalisatie, evenals positieve transfer naar een groot repertoire van onbekende behendige manipulatietaken. Agents die gebruikmaken van MyoDex kunnen ongeveer 3x meer taken oplossen, en 4x sneller in vergelijking met een distillatie-baseline. Terwijl eerder werk zich richtte op het synthetiseren van individuele musculoskeletale controle-gedragingen, is MyoDex de eerste generaliseerbare manipulatiefprior die het leren van behendige fysiologische controle over een grote verscheidenheid aan contactrijke gedragingen katalyseert. We demonstreren ook de effectiviteit van onze paradigma's buiten musculoskeletale controle, richting het verwerven van behendigheid in een 24 DoF Adroit Hand. Website: https://sites.google.com/view/myodex

English

Human dexterity is a hallmark of motor control. Our hands can rapidly synthesize new behaviors despite the complexity (multi-articular and multi-joints, with 23 joints controlled by more than 40 muscles) of musculoskeletal sensory-motor circuits. In this work, we take inspiration from how human dexterity builds on a diversity of prior experiences, instead of being acquired through a single task. Motivated by this observation, we set out to develop agents that can build upon their previous experience to quickly acquire new (previously unattainable) behaviors. Specifically, our approach leverages multi-task learning to implicitly capture task-agnostic behavioral priors (MyoDex) for human-like dexterity, using a physiologically realistic human hand model - MyoHand. We demonstrate MyoDex's effectiveness in few-shot generalization as well as positive transfer to a large repertoire of unseen dexterous manipulation tasks. Agents leveraging MyoDex can solve approximately 3x more tasks, and 4x faster in comparison to a distillation baseline. While prior work has synthesized single musculoskeletal control behaviors, MyoDex is the first generalizable manipulation prior that catalyzes the learning of dexterous physiological control across a large variety of contact-rich behaviors. We also demonstrate the effectiveness of our paradigms beyond musculoskeletal control towards the acquisition of dexterity in 24 DoF Adroit Hand. Website: https://sites.google.com/view/myodex