Даем роботам руку: обучение обобщаемым манипуляциям с использованием демонстраций на видео с камеры в руке человека

Giving Robots a Hand: Learning Generalizable Manipulation with Eye-in-Hand Human Video Demonstrations

July 12, 2023

Авторы: Moo Jin Kim, Jiajun Wu, Chelsea Finn

cs.AI

Аннотация

Камеры, установленные на манипуляторе, продемонстрировали потенциал в повышении эффективности работы с образцами и обобщения в задачах роботизированного манипулирования на основе зрения. Однако для роботизированного имитационного обучения по-прежнему дорого привлекать человека-оператора для сбора большого количества экспертных демонстраций с использованием реального робота. Видеозаписи выполнения задач человеком, напротив, гораздо дешевле собирать, поскольку они устраняют необходимость в экспертных знаниях по телеуправлению роботами и могут быть быстро получены в широком диапазоне сценариев. Таким образом, видеодемонстрации человека представляют собой перспективный источник данных для масштабируемого обучения обобщаемым стратегиям роботизированного манипулирования. В данной работе мы расширяем узкие наборы данных для роботизированного имитационного обучения с помощью широкого спектра немаркированных видеодемонстраций человека, что значительно улучшает обобщение визуомоторных стратегий для камер на манипуляторе. Несмотря на существование явного разрыва в визуальных доменах между данными человека и робота, наш подход не требует применения явных методов адаптации доменов, поскольку мы используем частичную наблюдаемость камер на манипуляторе, а также простую схему фиксированного маскирования изображений. На наборе из восьми реальных задач, включающих управление роботизированными манипуляторами с 3 и 6 степенями свободы, наш метод повышает средний уровень успешности стратегий манипулирования с камерами на манипуляторе на 58% (в абсолютных значениях), позволяя роботам обобщать как новые конфигурации среды, так и новые задачи, которые отсутствуют в данных роботизированных демонстраций. Видеорезультаты доступны по ссылке: https://giving-robots-a-hand.github.io/.

English

Eye-in-hand cameras have shown promise in enabling greater sample efficiency and generalization in vision-based robotic manipulation. However, for robotic imitation, it is still expensive to have a human teleoperator collect large amounts of expert demonstrations with a real robot. Videos of humans performing tasks, on the other hand, are much cheaper to collect since they eliminate the need for expertise in robotic teleoperation and can be quickly captured in a wide range of scenarios. Therefore, human video demonstrations are a promising data source for learning generalizable robotic manipulation policies at scale. In this work, we augment narrow robotic imitation datasets with broad unlabeled human video demonstrations to greatly enhance the generalization of eye-in-hand visuomotor policies. Although a clear visual domain gap exists between human and robot data, our framework does not need to employ any explicit domain adaptation method, as we leverage the partial observability of eye-in-hand cameras as well as a simple fixed image masking scheme. On a suite of eight real-world tasks involving both 3-DoF and 6-DoF robot arm control, our method improves the success rates of eye-in-hand manipulation policies by 58% (absolute) on average, enabling robots to generalize to both new environment configurations and new tasks that are unseen in the robot demonstration data. See video results at https://giving-robots-a-hand.github.io/ .