Gen2Act: Генерация видео с участием человека в новых сценариях обеспечивает обобщенное управление роботом.

Gen2Act: Human Video Generation in Novel Scenarios enables Generalizable Robot Manipulation

September 24, 2024

Авторы: Homanga Bharadhwaj, Debidatta Dwibedi, Abhinav Gupta, Shubham Tulsiani, Carl Doersch, Ted Xiao, Dhruv Shah, Fei Xia, Dorsa Sadigh, Sean Kirmani

cs.AI

Аннотация

Как можно обобщить политики манипулирования роботов на новые задачи, включающие невидимые типы объектов и новые движения? В этой статье мы предлагаем решение в терминах предсказания информации о движении из веб-данных через генерацию видео с участием людей и условия политики робота на сгенерированном видео. Вместо попыток масштабировать сбор данных робота, что является дорогостоящим, мы показываем, как мы можем использовать модели генерации видео, обученные на легко доступных веб-данных, для обеспечения обобщения. Наш подход Gen2Act представляет манипулирование, условием которого является язык, как генерацию видео с участием людей без обучения на них, за которым следует выполнение с помощью единой политики, условием которой является сгенерированное видео. Для обучения политики мы используем порядок меньше данных взаимодействия с роботом по сравнению с тем, на чем была обучена модель предсказания видео. Gen2Act не требует настройки видео-модели вообще, и мы напрямую используем предварительно обученную модель для генерации видео с участием людей. Наши результаты на разнообразных сценариях реального мира показывают, как Gen2Act позволяет манипулировать невидимыми типами объектов и выполнять новые движения для задач, отсутствующих в данных робота. Видео доступны по ссылке https://homangab.github.io/gen2act/

English

How can robot manipulation policies generalize to novel tasks involving unseen object types and new motions? In this paper, we provide a solution in terms of predicting motion information from web data through human video generation and conditioning a robot policy on the generated video. Instead of attempting to scale robot data collection which is expensive, we show how we can leverage video generation models trained on easily available web data, for enabling generalization. Our approach Gen2Act casts language-conditioned manipulation as zero-shot human video generation followed by execution with a single policy conditioned on the generated video. To train the policy, we use an order of magnitude less robot interaction data compared to what the video prediction model was trained on. Gen2Act doesn't require fine-tuning the video model at all and we directly use a pre-trained model for generating human videos. Our results on diverse real-world scenarios show how Gen2Act enables manipulating unseen object types and performing novel motions for tasks not present in the robot data. Videos are at https://homangab.github.io/gen2act/