범용 조작 인터페이스: 실제 로봇 없이도 실환경에서의 로봇 교육

Universal Manipulation Interface: In-The-Wild Robot Teaching Without In-The-Wild Robots

February 15, 2024

저자: Cheng Chi, Zhenjia Xu, Chuer Pan, Eric Cousineau, Benjamin Burchfiel, Siyuan Feng, Russ Tedrake, Shuran Song

cs.AI

초록

우리는 Universal Manipulation Interface(UMI)를 소개한다. UMI는 실제 환경에서의 인간 시연 데이터로부터 직접적으로 로봇 정책으로 전이할 수 있는 데이터 수집 및 정책 학습 프레임워크이다. UMI는 휴대 가능하고 저비용이며 정보가 풍부한 데이터 수집을 위해 손에 들고 사용할 수 있는 그리퍼와 신중하게 설계된 인터페이스를 활용하여, 도전적인 양손 및 동적 조작 시연을 가능하게 한다. 배포 가능한 정책 학습을 용이하게 하기 위해, UMI는 추론 시 지연 시간을 일치시키고 상대 궤적 액션 표현을 포함한 신중하게 설계된 정책 인터페이스를 통합한다. 이를 통해 학습된 정책은 하드웨어에 구애받지 않으며 여러 로봇 플랫폼에 걸쳐 배포 가능하다. 이러한 기능을 갖춘 UMI 프레임워크는 각 작업에 대한 훈련 데이터만 변경함으로써, 제로샷 일반화 가능한 동적, 양손, 정밀 및 장기적 행동을 포함한 새로운 로봇 조작 능력을 제공한다. 우리는 UMI의 다재다능성과 효능을 포괄적인 실제 실험을 통해 입증하며, UMI를 통해 학습된 정책이 다양한 인간 시연 데이터에 대해 훈련된 경우 새로운 환경과 물체에 대해 제로샷 일반화를 달성함을 보여준다. UMI의 하드웨어 및 소프트웨어 시스템은 https://umi-gripper.github.io에서 오픈소스로 제공된다.

English

We present Universal Manipulation Interface (UMI) -- a data collection and policy learning framework that allows direct skill transfer from in-the-wild human demonstrations to deployable robot policies. UMI employs hand-held grippers coupled with careful interface design to enable portable, low-cost, and information-rich data collection for challenging bimanual and dynamic manipulation demonstrations. To facilitate deployable policy learning, UMI incorporates a carefully designed policy interface with inference-time latency matching and a relative-trajectory action representation. The resulting learned policies are hardware-agnostic and deployable across multiple robot platforms. Equipped with these features, UMI framework unlocks new robot manipulation capabilities, allowing zero-shot generalizable dynamic, bimanual, precise, and long-horizon behaviors, by only changing the training data for each task. We demonstrate UMI's versatility and efficacy with comprehensive real-world experiments, where policies learned via UMI zero-shot generalize to novel environments and objects when trained on diverse human demonstrations. UMI's hardware and software system is open-sourced at https://umi-gripper.github.io.