Dare una mano ai robot: apprendimento di manipolazione generalizzabile con dimostrazioni video umane da occhio-in-mano

Giving Robots a Hand: Learning Generalizable Manipulation with Eye-in-Hand Human Video Demonstrations

July 12, 2023

Autori: Moo Jin Kim, Jiajun Wu, Chelsea Finn

cs.AI

Abstract

Le telecamere eye-in-hand hanno dimostrato di essere promettenti nel migliorare l'efficienza del campionamento e la generalizzazione nella manipolazione robotica basata sulla visione. Tuttavia, per l'imitazione robotica, è ancora costoso far sì che un operatore umano raccolga grandi quantità di dimostrazioni esperte con un robot reale. I video di esseri umani che eseguono compiti, d'altra parte, sono molto più economici da raccogliere poiché eliminano la necessità di competenze nella teleoperazione robotica e possono essere rapidamente catturati in un'ampia gamma di scenari. Pertanto, le dimostrazioni video umane rappresentano una fonte di dati promettente per apprendere politiche di manipolazione robotica generalizzabili su larga scala. In questo lavoro, arricchiamo dataset ristretti di imitazione robotica con ampie dimostrazioni video umane non etichettate per migliorare notevolmente la generalizzazione delle politiche visuomotorie eye-in-hand. Sebbene esista un evidente divario di dominio visivo tra i dati umani e quelli robotici, il nostro framework non necessita di impiegare alcun metodo esplicito di adattamento di dominio, poiché sfruttiamo l'osservabilità parziale delle telecamere eye-in-hand insieme a un semplice schema di mascheramento delle immagini fisso. Su una suite di otto compiti del mondo reale che coinvolgono il controllo di bracci robotici sia a 3 gradi di libertà (DoF) che a 6 DoF, il nostro metodo migliora i tassi di successo delle politiche di manipolazione eye-in-hand del 58% (in valore assoluto) in media, consentendo ai robot di generalizzare sia a nuove configurazioni ambientali che a nuovi compiti non presenti nei dati di dimostrazione robotica. Guarda i risultati video su https://giving-robots-a-hand.github.io/.

English

Eye-in-hand cameras have shown promise in enabling greater sample efficiency and generalization in vision-based robotic manipulation. However, for robotic imitation, it is still expensive to have a human teleoperator collect large amounts of expert demonstrations with a real robot. Videos of humans performing tasks, on the other hand, are much cheaper to collect since they eliminate the need for expertise in robotic teleoperation and can be quickly captured in a wide range of scenarios. Therefore, human video demonstrations are a promising data source for learning generalizable robotic manipulation policies at scale. In this work, we augment narrow robotic imitation datasets with broad unlabeled human video demonstrations to greatly enhance the generalization of eye-in-hand visuomotor policies. Although a clear visual domain gap exists between human and robot data, our framework does not need to employ any explicit domain adaptation method, as we leverage the partial observability of eye-in-hand cameras as well as a simple fixed image masking scheme. On a suite of eight real-world tasks involving both 3-DoF and 6-DoF robot arm control, our method improves the success rates of eye-in-hand manipulation policies by 58% (absolute) on average, enabling robots to generalize to both new environment configurations and new tasks that are unseen in the robot demonstration data. See video results at https://giving-robots-a-hand.github.io/ .