Interface Universal de Manipulação: Ensino de Robôs em Ambientes Reais Sem a Necessidade de Robôs Físicos

Universal Manipulation Interface: In-The-Wild Robot Teaching Without In-The-Wild Robots

February 15, 2024

Autores: Cheng Chi, Zhenjia Xu, Chuer Pan, Eric Cousineau, Benjamin Burchfiel, Siyuan Feng, Russ Tedrake, Shuran Song

cs.AI

Resumo

Apresentamos a Interface Universal de Manipulação (UMI) — uma estrutura de coleta de dados e aprendizado de políticas que permite a transferência direta de habilidades a partir de demonstrações humanas em ambientes reais para políticas robóticas implantáveis. A UMI utiliza pinças portáteis acopladas a um design cuidadoso da interface para permitir a coleta de dados portátil, de baixo custo e rica em informações para demonstrações desafiadoras de manipulação bimanual e dinâmica. Para facilitar o aprendizado de políticas implantáveis, a UMI incorpora uma interface de política cuidadosamente projetada com correspondência de latência no tempo de inferência e uma representação de ação de trajetória relativa. As políticas aprendidas resultantes são independentes de hardware e podem ser implantadas em várias plataformas robóticas. Equipada com esses recursos, a estrutura UMI desbloqueia novas capacidades de manipulação robótica, permitindo comportamentos dinâmicos, bimanuais, precisos e de longo horizonte generalizáveis sem necessidade de ajustes, apenas alterando os dados de treinamento para cada tarefa. Demonstramos a versatilidade e eficácia da UMI com experimentos abrangentes no mundo real, onde políticas aprendidas via UMI generalizam sem ajustes para novos ambientes e objetos quando treinadas em diversas demonstrações humanas. O sistema de hardware e software da UMI é de código aberto em https://umi-gripper.github.io.

English

We present Universal Manipulation Interface (UMI) -- a data collection and policy learning framework that allows direct skill transfer from in-the-wild human demonstrations to deployable robot policies. UMI employs hand-held grippers coupled with careful interface design to enable portable, low-cost, and information-rich data collection for challenging bimanual and dynamic manipulation demonstrations. To facilitate deployable policy learning, UMI incorporates a carefully designed policy interface with inference-time latency matching and a relative-trajectory action representation. The resulting learned policies are hardware-agnostic and deployable across multiple robot platforms. Equipped with these features, UMI framework unlocks new robot manipulation capabilities, allowing zero-shot generalizable dynamic, bimanual, precise, and long-horizon behaviors, by only changing the training data for each task. We demonstrate UMI's versatility and efficacy with comprehensive real-world experiments, where policies learned via UMI zero-shot generalize to novel environments and objects when trained on diverse human demonstrations. UMI's hardware and software system is open-sourced at https://umi-gripper.github.io.