Robotern eine Hand reichen: Erlernen generalisierbarer Manipulation durch Eye-in-Hand-Videodemonstrationen von Menschen

Giving Robots a Hand: Learning Generalizable Manipulation with Eye-in-Hand Human Video Demonstrations

July 12, 2023

Autoren: Moo Jin Kim, Jiajun Wu, Chelsea Finn

cs.AI

Zusammenfassung

Kamera-in-der-Hand-Systeme haben sich als vielversprechend erwiesen, um eine höhere Probeneffizienz und Generalisierung in der visuell gestützten robotischen Manipulation zu ermöglichen. Für die robotische Nachahmung ist es jedoch nach wie vor kostspielig, große Mengen an Experten-Demonstrationen mit einem echten Roboter durch einen menschlichen Teleoperator sammeln zu lassen. Videos von Menschen, die Aufgaben ausführen, sind hingegen viel kostengünstiger zu erfassen, da sie die Notwendigkeit von Fachkenntnissen in der robotischen Teleoperation eliminieren und in einer Vielzahl von Szenarien schnell aufgenommen werden können. Daher stellen menschliche Video-Demonstrationen eine vielversprechende Datenquelle dar, um generalisierbare robotische Manipulationsstrategien in großem Maßstab zu erlernen. In dieser Arbeit erweitern wir begrenzte robotische Nachahmungsdatensätze mit umfangreichen, unmarkierten menschlichen Video-Demonstrationen, um die Generalisierung von visuomotorischen Strategien für Kamera-in-der-Hand-Systeme erheblich zu verbessern. Obwohl eine deutliche visuelle Domänenlücke zwischen menschlichen und robotischen Daten besteht, benötigt unser Framework keine explizite Domänenanpassungsmethode, da wir die partielle Beobachtbarkeit von Kamera-in-der-Hand-Systemen sowie ein einfaches festes Bildmaskierungsschema nutzen. Bei einer Reihe von acht realen Aufgaben, die sowohl die Steuerung von 3-DoF- als auch 6-DoF-Roboterarmen umfassen, verbessert unsere Methode die Erfolgsraten von Kamera-in-der-Hand-Manipulationsstrategien im Durchschnitt um 58 % (absolut), wodurch Roboter in der Lage sind, sowohl neue Umgebungskonfigurationen als auch neue Aufgaben zu generalisieren, die in den robotischen Demonstrationsdaten nicht enthalten sind. Videoergebnisse finden Sie unter https://giving-robots-a-hand.github.io/.

English

Eye-in-hand cameras have shown promise in enabling greater sample efficiency and generalization in vision-based robotic manipulation. However, for robotic imitation, it is still expensive to have a human teleoperator collect large amounts of expert demonstrations with a real robot. Videos of humans performing tasks, on the other hand, are much cheaper to collect since they eliminate the need for expertise in robotic teleoperation and can be quickly captured in a wide range of scenarios. Therefore, human video demonstrations are a promising data source for learning generalizable robotic manipulation policies at scale. In this work, we augment narrow robotic imitation datasets with broad unlabeled human video demonstrations to greatly enhance the generalization of eye-in-hand visuomotor policies. Although a clear visual domain gap exists between human and robot data, our framework does not need to employ any explicit domain adaptation method, as we leverage the partial observability of eye-in-hand cameras as well as a simple fixed image masking scheme. On a suite of eight real-world tasks involving both 3-DoF and 6-DoF robot arm control, our method improves the success rates of eye-in-hand manipulation policies by 58% (absolute) on average, enabling robots to generalize to both new environment configurations and new tasks that are unseen in the robot demonstration data. See video results at https://giving-robots-a-hand.github.io/ .