Gen2Act: Generación de Video Humano en Escenarios Nuevos permite la Manipulación de Robots Generalizable.

Gen2Act: Human Video Generation in Novel Scenarios enables Generalizable Robot Manipulation

September 24, 2024

Autores: Homanga Bharadhwaj, Debidatta Dwibedi, Abhinav Gupta, Shubham Tulsiani, Carl Doersch, Ted Xiao, Dhruv Shah, Fei Xia, Dorsa Sadigh, Sean Kirmani

cs.AI

Resumen

¿Cómo pueden generalizarse las políticas de manipulación de robots a tareas novedosas que involucran tipos de objetos no vistos y nuevos movimientos? En este artículo, proporcionamos una solución en términos de predecir información de movimiento a partir de datos web a través de la generación de videos humanos y condicionando una política de robot en el video generado. En lugar de intentar escalar la recopilación de datos de robots, que es costosa, mostramos cómo podemos aprovechar modelos de generación de video entrenados en datos web fácilmente disponibles, para habilitar la generalización. Nuestro enfoque Gen2Act convierte la manipulación condicionada por lenguaje en generación de video humano de cero disparos seguido de la ejecución con una sola política condicionada en el video generado. Para entrenar la política, utilizamos un orden de magnitud menos datos de interacción de robots en comparación con los que se entrenó el modelo de predicción de video. Gen2Act no requiere ajustar finamente el modelo de video en absoluto y utilizamos directamente un modelo pre-entrenado para generar videos humanos. Nuestros resultados en diversos escenarios del mundo real muestran cómo Gen2Act permite manipular tipos de objetos no vistos y realizar movimientos novedosos para tareas no presentes en los datos del robot. Los videos se encuentran en https://homangab.github.io/gen2act/

English

How can robot manipulation policies generalize to novel tasks involving unseen object types and new motions? In this paper, we provide a solution in terms of predicting motion information from web data through human video generation and conditioning a robot policy on the generated video. Instead of attempting to scale robot data collection which is expensive, we show how we can leverage video generation models trained on easily available web data, for enabling generalization. Our approach Gen2Act casts language-conditioned manipulation as zero-shot human video generation followed by execution with a single policy conditioned on the generated video. To train the policy, we use an order of magnitude less robot interaction data compared to what the video prediction model was trained on. Gen2Act doesn't require fine-tuning the video model at all and we directly use a pre-trained model for generating human videos. Our results on diverse real-world scenarios show how Gen2Act enables manipulating unseen object types and performing novel motions for tasks not present in the robot data. Videos are at https://homangab.github.io/gen2act/