Universeel Manipulatie-Interface: Robotonderwijs in de praktijk zonder robots in de praktijk

Universal Manipulation Interface: In-The-Wild Robot Teaching Without In-The-Wild Robots

February 15, 2024

Auteurs: Cheng Chi, Zhenjia Xu, Chuer Pan, Eric Cousineau, Benjamin Burchfiel, Siyuan Feng, Russ Tedrake, Shuran Song

cs.AI

Samenvatting

We presenteren de Universal Manipulation Interface (UMI) – een raamwerk voor gegevensverzameling en beleidsleren dat directe vaardigheidsoverdracht mogelijk maakt van menselijke demonstraties in de praktijk naar inzetbare robotbeleidsregels. UMI maakt gebruik van handbediende grijpers in combinatie met een zorgvuldig ontworpen interface om draagbare, kosteneffectieve en informatieve gegevensverzameling mogelijk te maken voor uitdagende bimanuele en dynamische manipulatie-demonstraties. Om inzetbaar beleidsleren te vergemakkelijken, integreert UMI een zorgvuldig ontworpen beleidsinterface met latentieafstemming tijdens inferentie en een actieweergave op basis van relatieve trajecten. De resulterende geleerde beleidsregels zijn hardware-onafhankelijk en inzetbaar op meerdere robotplatforms. Uitgerust met deze functies maakt het UMI-raamwerk nieuwe robotmanipulatie-mogelijkheden mogelijk, zoals zero-shot generaliseerbaar dynamisch, bimanueel, precies en langetermijngedrag, door alleen de trainingsgegevens voor elke taak aan te passen. We demonstreren de veelzijdigheid en effectiviteit van UMI met uitgebreide experimenten in de echte wereld, waarbij beleidsregels die via UMI zijn geleerd, zero-shot generaliseren naar nieuwe omgevingen en objecten wanneer ze zijn getraind op diverse menselijke demonstraties. Het hardware- en softwaresysteem van UMI is open-source beschikbaar op https://umi-gripper.github.io.

English

We present Universal Manipulation Interface (UMI) -- a data collection and policy learning framework that allows direct skill transfer from in-the-wild human demonstrations to deployable robot policies. UMI employs hand-held grippers coupled with careful interface design to enable portable, low-cost, and information-rich data collection for challenging bimanual and dynamic manipulation demonstrations. To facilitate deployable policy learning, UMI incorporates a carefully designed policy interface with inference-time latency matching and a relative-trajectory action representation. The resulting learned policies are hardware-agnostic and deployable across multiple robot platforms. Equipped with these features, UMI framework unlocks new robot manipulation capabilities, allowing zero-shot generalizable dynamic, bimanual, precise, and long-horizon behaviors, by only changing the training data for each task. We demonstrate UMI's versatility and efficacy with comprehensive real-world experiments, where policies learned via UMI zero-shot generalize to novel environments and objects when trained on diverse human demonstrations. UMI's hardware and software system is open-sourced at https://umi-gripper.github.io.