Interfaccia Universale di Manipolazione: Insegnamento Robotico in Ambiente Reale Senza Robot in Ambiente Reale

Universal Manipulation Interface: In-The-Wild Robot Teaching Without In-The-Wild Robots

February 15, 2024

Autori: Cheng Chi, Zhenjia Xu, Chuer Pan, Eric Cousineau, Benjamin Burchfiel, Siyuan Feng, Russ Tedrake, Shuran Song

cs.AI

Abstract

Presentiamo Universal Manipulation Interface (UMI) — un framework per la raccolta dati e l'apprendimento di politiche che consente il trasferimento diretto di abilità da dimostrazioni umane in contesti reali a politiche robotiche implementabili. UMI utilizza pinze portatili accoppiate a un'attenta progettazione dell'interfaccia per consentire una raccolta dati portatile, a basso costo e ricca di informazioni per dimostrazioni di manipolazione bimanuale e dinamica complesse. Per facilitare l'apprendimento di politiche implementabili, UMI incorpora un'interfaccia per le politiche progettata con cura, con corrispondenza della latenza al momento dell'inferenza e una rappresentazione delle azioni basata su traiettorie relative. Le politiche apprese risultanti sono indipendenti dall'hardware e implementabili su più piattaforme robotiche. Dotato di queste caratteristiche, il framework UMI sblocca nuove capacità di manipolazione robotica, consentendo comportamenti dinamici, bimanuali, precisi e a lungo orizzonte generalizzabili in modo zero-shot, semplicemente modificando i dati di addestramento per ciascun compito. Dimostriamo la versatilità e l'efficacia di UMI con esperimenti completi nel mondo reale, in cui le politiche apprese tramite UMI generalizzano in modo zero-shot a nuovi ambienti e oggetti quando addestrate su dimostrazioni umane diverse. Il sistema hardware e software di UMI è open-source e disponibile all'indirizzo https://umi-gripper.github.io.

English

We present Universal Manipulation Interface (UMI) -- a data collection and policy learning framework that allows direct skill transfer from in-the-wild human demonstrations to deployable robot policies. UMI employs hand-held grippers coupled with careful interface design to enable portable, low-cost, and information-rich data collection for challenging bimanual and dynamic manipulation demonstrations. To facilitate deployable policy learning, UMI incorporates a carefully designed policy interface with inference-time latency matching and a relative-trajectory action representation. The resulting learned policies are hardware-agnostic and deployable across multiple robot platforms. Equipped with these features, UMI framework unlocks new robot manipulation capabilities, allowing zero-shot generalizable dynamic, bimanual, precise, and long-horizon behaviors, by only changing the training data for each task. We demonstrate UMI's versatility and efficacy with comprehensive real-world experiments, where policies learned via UMI zero-shot generalize to novel environments and objects when trained on diverse human demonstrations. UMI's hardware and software system is open-sourced at https://umi-gripper.github.io.