Универсальный интерфейс манипуляции: Обучение роботов в реальных условиях без использования роботов в реальных условиях

Universal Manipulation Interface: In-The-Wild Robot Teaching Without In-The-Wild Robots

February 15, 2024

Авторы: Cheng Chi, Zhenjia Xu, Chuer Pan, Eric Cousineau, Benjamin Burchfiel, Siyuan Feng, Russ Tedrake, Shuran Song

cs.AI

Аннотация

Мы представляем Универсальный Интерфейс Манипуляции (Universal Manipulation Interface, UMI) — фреймворк для сбора данных и обучения политик, который позволяет напрямую переносить навыки из демонстраций, выполненных человеком в реальных условиях, на развертываемые политики роботов. UMI использует ручные захваты в сочетании с тщательно продуманным дизайном интерфейса, что обеспечивает портативный, недорогой и информационно насыщенный сбор данных для сложных двуручных и динамических манипуляций. Для облегчения обучения развертываемых политик UMI включает в себя специально разработанный интерфейс политик с учетом задержек на этапе вывода и представлением действий в виде относительных траекторий. Полученные в результате обучения политики являются аппаратно-независимыми и могут быть развернуты на различных роботизированных платформах. Благодаря этим особенностям, фреймворк UMI открывает новые возможности для манипуляций роботов, позволяя достигать обобщаемых на новые условия динамических, двуручных, точных и долгосрочных поведений без дополнительной дообучения, просто изменяя обучающие данные для каждой задачи. Мы демонстрируем универсальность и эффективность UMI в ходе всесторонних экспериментов в реальных условиях, где политики, обученные с помощью UMI, успешно обобщаются на новые среды и объекты при обучении на разнообразных человеческих демонстрациях. Аппаратное и программное обеспечение UMI доступно в открытом доступе по адресу https://umi-gripper.github.io.

English

We present Universal Manipulation Interface (UMI) -- a data collection and policy learning framework that allows direct skill transfer from in-the-wild human demonstrations to deployable robot policies. UMI employs hand-held grippers coupled with careful interface design to enable portable, low-cost, and information-rich data collection for challenging bimanual and dynamic manipulation demonstrations. To facilitate deployable policy learning, UMI incorporates a carefully designed policy interface with inference-time latency matching and a relative-trajectory action representation. The resulting learned policies are hardware-agnostic and deployable across multiple robot platforms. Equipped with these features, UMI framework unlocks new robot manipulation capabilities, allowing zero-shot generalizable dynamic, bimanual, precise, and long-horizon behaviors, by only changing the training data for each task. We demonstrate UMI's versatility and efficacy with comprehensive real-world experiments, where policies learned via UMI zero-shot generalize to novel environments and objects when trained on diverse human demonstrations. UMI's hardware and software system is open-sourced at https://umi-gripper.github.io.