Interface Universelle de Manipulation : Enseignement des Robots en Milieu Réel sans Robots en Milieu Réel

Universal Manipulation Interface: In-The-Wild Robot Teaching Without In-The-Wild Robots

February 15, 2024

Auteurs: Cheng Chi, Zhenjia Xu, Chuer Pan, Eric Cousineau, Benjamin Burchfiel, Siyuan Feng, Russ Tedrake, Shuran Song

cs.AI

Résumé

Nous présentons l’Interface Universelle de Manipulation (UMI) — un cadre de collecte de données et d’apprentissage de politiques permettant un transfert direct de compétences à partir de démonstrations humaines en conditions réelles vers des politiques robotiques déployables. UMI utilise des pinces portatives couplées à une conception d’interface soignée pour permettre une collecte de données portable, peu coûteuse et riche en informations pour des démonstrations de manipulation bimanuelle et dynamique complexes. Pour faciliter l’apprentissage de politiques déployables, UMI intègre une interface de politique soigneusement conçue avec une latence correspondante au temps d’inférence et une représentation d’actions par trajectoires relatives. Les politiques apprises qui en résultent sont indépendantes du matériel et peuvent être déployées sur plusieurs plateformes robotiques. Doté de ces fonctionnalités, le cadre UMI débloque de nouvelles capacités de manipulation robotique, permettant des comportements dynamiques, bimanuels, précis et à long terme généralisables sans adaptation, simplement en modifiant les données d’entraînement pour chaque tâche. Nous démontrons la polyvalence et l’efficacité d’UMI à travers des expériences exhaustives en conditions réelles, où les politiques apprises via UMI se généralisent sans adaptation à de nouveaux environnements et objets lorsqu’elles sont entraînées sur des démonstrations humaines variées. Le système matériel et logiciel d’UMI est open-source à l’adresse https://umi-gripper.github.io.

English

We present Universal Manipulation Interface (UMI) -- a data collection and policy learning framework that allows direct skill transfer from in-the-wild human demonstrations to deployable robot policies. UMI employs hand-held grippers coupled with careful interface design to enable portable, low-cost, and information-rich data collection for challenging bimanual and dynamic manipulation demonstrations. To facilitate deployable policy learning, UMI incorporates a carefully designed policy interface with inference-time latency matching and a relative-trajectory action representation. The resulting learned policies are hardware-agnostic and deployable across multiple robot platforms. Equipped with these features, UMI framework unlocks new robot manipulation capabilities, allowing zero-shot generalizable dynamic, bimanual, precise, and long-horizon behaviors, by only changing the training data for each task. We demonstrate UMI's versatility and efficacy with comprehensive real-world experiments, where policies learned via UMI zero-shot generalize to novel environments and objects when trained on diverse human demonstrations. UMI's hardware and software system is open-sourced at https://umi-gripper.github.io.