ユニバーサル操作インターフェース：実世界ロボットなしでの実世界ロボット教育

Universal Manipulation Interface: In-The-Wild Robot Teaching Without In-The-Wild Robots

February 15, 2024

著者: Cheng Chi, Zhenjia Xu, Chuer Pan, Eric Cousineau, Benjamin Burchfiel, Siyuan Feng, Russ Tedrake, Shuran Song

cs.AI

要旨

ユニバーサル・マニピュレーション・インターフェース（UMI）を紹介します。UMIは、野外での人間のデモンストレーションから直接スキルを転移し、ロボットポリシーとして展開可能にするデータ収集およびポリシー学習フレームワークです。UMIは、携帯可能で低コストかつ情報豊富なデータ収集を実現するため、ハンドヘルドグリッパーと慎重に設計されたインターフェースを採用し、挑戦的な両手操作や動的なマニピュレーションのデモンストレーションを可能にします。展開可能なポリシー学習を促進するため、UMIは推論時の遅延マッチングと相対軌道アクション表現を備えた慎重に設計されたポリシーインターフェースを組み込んでいます。これにより、学習されたポリシーはハードウェアに依存せず、複数のロボットプラットフォームで展開可能となります。これらの機能を備えたUMIフレームワークは、各タスクのトレーニングデータを変更するだけで、ゼロショットで一般化可能な動的、両手操作、精密、および長期的な行動を可能にし、新しいロボットマニピュレーション能力を解き放ちます。UMIの汎用性と有効性を、包括的な実世界の実験で実証し、多様な人間のデモンストレーションでトレーニングされたUMI経由のポリシーが、新しい環境や物体に対してゼロショットで一般化することを示します。UMIのハードウェアおよびソフトウェアシステムは、https://umi-gripper.github.ioでオープンソースとして公開されています。

English

We present Universal Manipulation Interface (UMI) -- a data collection and policy learning framework that allows direct skill transfer from in-the-wild human demonstrations to deployable robot policies. UMI employs hand-held grippers coupled with careful interface design to enable portable, low-cost, and information-rich data collection for challenging bimanual and dynamic manipulation demonstrations. To facilitate deployable policy learning, UMI incorporates a carefully designed policy interface with inference-time latency matching and a relative-trajectory action representation. The resulting learned policies are hardware-agnostic and deployable across multiple robot platforms. Equipped with these features, UMI framework unlocks new robot manipulation capabilities, allowing zero-shot generalizable dynamic, bimanual, precise, and long-horizon behaviors, by only changing the training data for each task. We demonstrate UMI's versatility and efficacy with comprehensive real-world experiments, where policies learned via UMI zero-shot generalize to novel environments and objects when trained on diverse human demonstrations. UMI's hardware and software system is open-sourced at https://umi-gripper.github.io.