Dando uma Mão aos Robôs: Aprendendo Manipulação Generalizável com Demonstrações Humanas em Vídeo Usando Visão na Mão

Giving Robots a Hand: Learning Generalizable Manipulation with Eye-in-Hand Human Video Demonstrations

July 12, 2023

Autores: Moo Jin Kim, Jiajun Wu, Chelsea Finn

cs.AI

Resumo

Câmeras eye-in-hand têm mostrado potencial para permitir maior eficiência de amostragem e generalização na manipulação robótica baseada em visão. No entanto, para a imitação robótica, ainda é caro ter um teleoperador humano coletar grandes quantidades de demonstrações especializadas com um robô real. Vídeos de humanos realizando tarefas, por outro lado, são muito mais baratos de coletar, pois eliminam a necessidade de expertise em teleoperação robótica e podem ser rapidamente capturados em uma ampla variedade de cenários. Portanto, demonstrações em vídeo de humanos são uma fonte de dados promissora para aprender políticas de manipulação robótica generalizáveis em escala. Neste trabalho, aumentamos conjuntos de dados estreitos de imitação robótica com amplas demonstrações em vídeo de humanos não rotuladas para aprimorar significativamente a generalização de políticas visuomotoras eye-in-hand. Embora exista uma clara lacuna de domínio visual entre os dados humanos e robóticos, nosso framework não precisa empregar nenhum método explícito de adaptação de domínio, pois aproveitamos a observabilidade parcial das câmeras eye-in-hand, bem como um esquema simples de mascaramento de imagem fixo. Em um conjunto de oito tarefas do mundo real envolvendo controle de braço robótico tanto de 3-DoF quanto de 6-DoF, nosso método melhora as taxas de sucesso das políticas de manipulação eye-in-hand em 58% (absoluto) em média, permitindo que os robôs generalizem tanto para novas configurações de ambiente quanto para novas tarefas que não foram vistas nos dados de demonstração robótica. Veja os resultados em vídeo em https://giving-robots-a-hand.github.io/.

English

Eye-in-hand cameras have shown promise in enabling greater sample efficiency and generalization in vision-based robotic manipulation. However, for robotic imitation, it is still expensive to have a human teleoperator collect large amounts of expert demonstrations with a real robot. Videos of humans performing tasks, on the other hand, are much cheaper to collect since they eliminate the need for expertise in robotic teleoperation and can be quickly captured in a wide range of scenarios. Therefore, human video demonstrations are a promising data source for learning generalizable robotic manipulation policies at scale. In this work, we augment narrow robotic imitation datasets with broad unlabeled human video demonstrations to greatly enhance the generalization of eye-in-hand visuomotor policies. Although a clear visual domain gap exists between human and robot data, our framework does not need to employ any explicit domain adaptation method, as we leverage the partial observability of eye-in-hand cameras as well as a simple fixed image masking scheme. On a suite of eight real-world tasks involving both 3-DoF and 6-DoF robot arm control, our method improves the success rates of eye-in-hand manipulation policies by 58% (absolute) on average, enabling robots to generalize to both new environment configurations and new tasks that are unseen in the robot demonstration data. See video results at https://giving-robots-a-hand.github.io/ .