Robots een handje helpen: Algemene manipulatietaken leren met oog-in-hand menselijke videodemonstraties

Giving Robots a Hand: Learning Generalizable Manipulation with Eye-in-Hand Human Video Demonstrations

July 12, 2023

Auteurs: Moo Jin Kim, Jiajun Wu, Chelsea Finn

cs.AI

Samenvatting

Camera-in-hand-systemen hebben potentie getoond in het verbeteren van de steekproevefficiëntie en generalisatie bij visueel gestuurde robotmanipulatie. Voor robotimitaties is het echter nog steeds kostbaar om een menselijke teleoperator grote hoeveelheden expertdemonstraties met een echte robot te laten verzamelen. Video's van mensen die taken uitvoeren, daarentegen, zijn veel goedkoper te verzamelen, omdat ze de noodzaak van expertise in robotteleoperatie elimineren en snel in een breed scala aan scenario's kunnen worden vastgelegd. Daarom vormen menselijke videodemonstraties een veelbelovende bron van gegevens voor het leren van schaalbare en generaliseerbare robotmanipulatiebeleidsregels. In dit werk verrijken we beperkte robotimitatiedatasets met brede, ongelabelde menselijke videodemonstraties om de generalisatie van visuomotorische beleidsregels voor camera-in-hand-systemen aanzienlijk te verbeteren. Hoewel er een duidelijk visueel domeingat bestaat tussen menselijke en robotgegevens, hoeft ons framework geen expliciete domeinaanpassingsmethode toe te passen, omdat we gebruikmaken van de gedeeltelijke observeerbaarheid van camera-in-hand-systemen en een eenvoudig vast beeldmaskeringsschema. Op een reeks van acht taken in de echte wereld, waarbij zowel 3-DoF als 6-DoF robotarmbesturing betrokken is, verbetert onze methode de slagingspercentages van camera-in-hand-manipulatiebeleidsregels met gemiddeld 58% (absoluut), waardoor robots kunnen generaliseren naar zowel nieuwe omgevingsconfiguraties als nieuwe taken die niet in de robotdemonstratiegegevens zijn gezien. Bekijk videoresultaten op https://giving-robots-a-hand.github.io/.

English

Eye-in-hand cameras have shown promise in enabling greater sample efficiency and generalization in vision-based robotic manipulation. However, for robotic imitation, it is still expensive to have a human teleoperator collect large amounts of expert demonstrations with a real robot. Videos of humans performing tasks, on the other hand, are much cheaper to collect since they eliminate the need for expertise in robotic teleoperation and can be quickly captured in a wide range of scenarios. Therefore, human video demonstrations are a promising data source for learning generalizable robotic manipulation policies at scale. In this work, we augment narrow robotic imitation datasets with broad unlabeled human video demonstrations to greatly enhance the generalization of eye-in-hand visuomotor policies. Although a clear visual domain gap exists between human and robot data, our framework does not need to employ any explicit domain adaptation method, as we leverage the partial observability of eye-in-hand cameras as well as a simple fixed image masking scheme. On a suite of eight real-world tasks involving both 3-DoF and 6-DoF robot arm control, our method improves the success rates of eye-in-hand manipulation policies by 58% (absolute) on average, enabling robots to generalize to both new environment configurations and new tasks that are unseen in the robot demonstration data. See video results at https://giving-robots-a-hand.github.io/ .