Gen2Act: Geração de Vídeo Humano em Cenários Novos permite Manipulação de Robôs Generalizável

Gen2Act: Human Video Generation in Novel Scenarios enables Generalizable Robot Manipulation

September 24, 2024

Autores: Homanga Bharadhwaj, Debidatta Dwibedi, Abhinav Gupta, Shubham Tulsiani, Carl Doersch, Ted Xiao, Dhruv Shah, Fei Xia, Dorsa Sadigh, Sean Kirmani

cs.AI

Resumo

Como podem as políticas de manipulação de robôs generalizar para tarefas novas envolvendo tipos de objetos não vistos e novos movimentos? Neste artigo, apresentamos uma solução em termos de prever informações de movimento a partir de dados da web por meio da geração de vídeo humano e condicionando uma política de robô ao vídeo gerado. Em vez de tentar escalar a coleta de dados de robôs, que é cara, mostramos como podemos aproveitar modelos de geração de vídeo treinados em dados da web facilmente disponíveis, para permitir a generalização. Nossa abordagem Gen2Act lança a manipulação condicionada por linguagem como geração de vídeo humano de zero-shot seguida pela execução com uma única política condicionada ao vídeo gerado. Para treinar a política, usamos uma ordem de magnitude menor de dados de interação de robôs em comparação com o que o modelo de previsão de vídeo foi treinado. Gen2Act não requer ajuste fino do modelo de vídeo e usamos diretamente um modelo pré-treinado para gerar vídeos humanos. Nossos resultados em diversos cenários do mundo real mostram como o Gen2Act permite manipular tipos de objetos não vistos e realizar movimentos novos para tarefas não presentes nos dados do robô. Os vídeos estão em https://homangab.github.io/gen2act/

English

How can robot manipulation policies generalize to novel tasks involving unseen object types and new motions? In this paper, we provide a solution in terms of predicting motion information from web data through human video generation and conditioning a robot policy on the generated video. Instead of attempting to scale robot data collection which is expensive, we show how we can leverage video generation models trained on easily available web data, for enabling generalization. Our approach Gen2Act casts language-conditioned manipulation as zero-shot human video generation followed by execution with a single policy conditioned on the generated video. To train the policy, we use an order of magnitude less robot interaction data compared to what the video prediction model was trained on. Gen2Act doesn't require fine-tuning the video model at all and we directly use a pre-trained model for generating human videos. Our results on diverse real-world scenarios show how Gen2Act enables manipulating unseen object types and performing novel motions for tasks not present in the robot data. Videos are at https://homangab.github.io/gen2act/