Universelle Manipulationsschnittstelle: Robotikunterricht in der realen Welt ohne Roboter in der realen Welt

Universal Manipulation Interface: In-The-Wild Robot Teaching Without In-The-Wild Robots

February 15, 2024

Autoren: Cheng Chi, Zhenjia Xu, Chuer Pan, Eric Cousineau, Benjamin Burchfiel, Siyuan Feng, Russ Tedrake, Shuran Song

cs.AI

Zusammenfassung

Wir präsentieren das Universal Manipulation Interface (UMI) – ein Framework zur Datenerfassung und Politik-Lernens, das den direkten Transfer von Fähigkeiten aus menschlichen Demonstrationen in der realen Welt auf einsetzbare Roboter-Policies ermöglicht. UMI nutzt handgehaltene Greifer in Kombination mit einem sorgfältig gestalteten Interface, um portable, kostengünstige und informationsreiche Datenerfassung für anspruchsvolle bimanuelle und dynamische Manipulationsdemonstrationen zu ermöglichen. Um das Lernen von einsetzbaren Policies zu erleichtern, integriert UMI ein speziell entwickeltes Policy-Interface mit Latenzabgleich zur Inferenzzeit und einer relativen Trajektorien-Aktionsdarstellung. Die daraus resultierenden gelernten Policies sind hardwareunabhängig und können auf mehreren Roboterplattformen eingesetzt werden. Ausgestattet mit diesen Funktionen ermöglicht das UMI-Framework neue Fähigkeiten in der Roboter-Manipulation, indem es zero-shot generalisierbare dynamische, bimanuelle, präzise und langfristige Verhaltensweisen ermöglicht, indem lediglich die Trainingsdaten für jede Aufgabe angepasst werden. Wir demonstrieren die Vielseitigkeit und Wirksamkeit von UMI mit umfassenden realen Experimenten, bei denen Policies, die über UMI gelernt wurden, zero-shot auf neue Umgebungen und Objekte generalisieren, wenn sie auf vielfältigen menschlichen Demonstrationen trainiert wurden. Das Hardware- und Softwaresystem von UMI ist unter https://umi-gripper.github.io quelloffen verfügbar.

English

We present Universal Manipulation Interface (UMI) -- a data collection and policy learning framework that allows direct skill transfer from in-the-wild human demonstrations to deployable robot policies. UMI employs hand-held grippers coupled with careful interface design to enable portable, low-cost, and information-rich data collection for challenging bimanual and dynamic manipulation demonstrations. To facilitate deployable policy learning, UMI incorporates a carefully designed policy interface with inference-time latency matching and a relative-trajectory action representation. The resulting learned policies are hardware-agnostic and deployable across multiple robot platforms. Equipped with these features, UMI framework unlocks new robot manipulation capabilities, allowing zero-shot generalizable dynamic, bimanual, precise, and long-horizon behaviors, by only changing the training data for each task. We demonstrate UMI's versatility and efficacy with comprehensive real-world experiments, where policies learned via UMI zero-shot generalize to novel environments and objects when trained on diverse human demonstrations. UMI's hardware and software system is open-sourced at https://umi-gripper.github.io.