Interfaz Universal de Manipulación: Enseñanza de Robots en Entornos Reales sin Necesidad de Robots en Entornos Reales

Universal Manipulation Interface: In-The-Wild Robot Teaching Without In-The-Wild Robots

February 15, 2024

Autores: Cheng Chi, Zhenjia Xu, Chuer Pan, Eric Cousineau, Benjamin Burchfiel, Siyuan Feng, Russ Tedrake, Shuran Song

cs.AI

Resumen

Presentamos la Interfaz Universal de Manipulación (UMI, por sus siglas en inglés) — un marco de recopilación de datos y aprendizaje de políticas que permite la transferencia directa de habilidades desde demostraciones humanas en entornos reales a políticas robóticas implementables. UMI utiliza pinzas portátiles junto con un diseño cuidadoso de la interfaz para permitir la recopilación de datos portátil, de bajo costo y rica en información para demostraciones desafiantes de manipulación bimanual y dinámica. Para facilitar el aprendizaje de políticas implementables, UMI incorpora una interfaz de política cuidadosamente diseñada con coincidencia de latencia en tiempo de inferencia y una representación de acciones basada en trayectorias relativas. Las políticas aprendidas resultantes son independientes del hardware y pueden implementarse en múltiples plataformas robóticas. Equipado con estas características, el marco UMI desbloquea nuevas capacidades de manipulación robótica, permitiendo comportamientos dinámicos, bimanuales, precisos y de largo alcance generalizables sin necesidad de ajustes adicionales, simplemente cambiando los datos de entrenamiento para cada tarea. Demostramos la versatilidad y eficacia de UMI con experimentos exhaustivos en el mundo real, donde las políticas aprendidas a través de UMI generalizan sin ajustes previos a entornos y objetos novedosos cuando se entrenan con diversas demostraciones humanas. El sistema de hardware y software de UMI es de código abierto y está disponible en https://umi-gripper.github.io.

English

We present Universal Manipulation Interface (UMI) -- a data collection and policy learning framework that allows direct skill transfer from in-the-wild human demonstrations to deployable robot policies. UMI employs hand-held grippers coupled with careful interface design to enable portable, low-cost, and information-rich data collection for challenging bimanual and dynamic manipulation demonstrations. To facilitate deployable policy learning, UMI incorporates a carefully designed policy interface with inference-time latency matching and a relative-trajectory action representation. The resulting learned policies are hardware-agnostic and deployable across multiple robot platforms. Equipped with these features, UMI framework unlocks new robot manipulation capabilities, allowing zero-shot generalizable dynamic, bimanual, precise, and long-horizon behaviors, by only changing the training data for each task. We demonstrate UMI's versatility and efficacy with comprehensive real-world experiments, where policies learned via UMI zero-shot generalize to novel environments and objects when trained on diverse human demonstrations. UMI's hardware and software system is open-sourced at https://umi-gripper.github.io.