Gen2Act: Generazione di Video Umani in Scenari Nuovi abilita la Manipolazione Robotica Generalizzabile

Gen2Act: Human Video Generation in Novel Scenarios enables Generalizable Robot Manipulation

September 24, 2024

Autori: Homanga Bharadhwaj, Debidatta Dwibedi, Abhinav Gupta, Shubham Tulsiani, Carl Doersch, Ted Xiao, Dhruv Shah, Fei Xia, Dorsa Sadigh, Sean Kirmani

cs.AI

Abstract

Come possono le politiche di manipolazione dei robot generalizzarsi a compiti nuovi che coinvolgono tipi di oggetti non visti e nuovi movimenti? In questo articolo, forniamo una soluzione in termini di previsione delle informazioni sui movimenti dai dati web attraverso la generazione di video umani e il condizionamento di una politica del robot sul video generato. Invece di cercare di scalare la raccolta di dati del robot, che è costosa, mostriamo come possiamo sfruttare modelli di generazione video addestrati su dati web facilmente disponibili, per consentire la generalizzazione. Il nostro approccio Gen2Act trasforma la manipolazione condizionata dal linguaggio in generazione di video umani a zero-shot seguita dall'esecuzione con una singola politica condizionata sul video generato. Per addestrare la politica, utilizziamo un ordine di grandezza inferiore di dati di interazione del robot rispetto a quelli su cui il modello di previsione video è stato addestrato. Gen2Act non richiede affatto il raffinamento del modello video e utilizziamo direttamente un modello pre-addestrato per generare video umani. I nostri risultati su scenari reali diversi mostrano come Gen2Act consenta di manipolare tipi di oggetti non visti e eseguire movimenti nuovi per compiti non presenti nei dati del robot. I video sono disponibili su https://homangab.github.io/gen2act/

English

How can robot manipulation policies generalize to novel tasks involving unseen object types and new motions? In this paper, we provide a solution in terms of predicting motion information from web data through human video generation and conditioning a robot policy on the generated video. Instead of attempting to scale robot data collection which is expensive, we show how we can leverage video generation models trained on easily available web data, for enabling generalization. Our approach Gen2Act casts language-conditioned manipulation as zero-shot human video generation followed by execution with a single policy conditioned on the generated video. To train the policy, we use an order of magnitude less robot interaction data compared to what the video prediction model was trained on. Gen2Act doesn't require fine-tuning the video model at all and we directly use a pre-trained model for generating human videos. Our results on diverse real-world scenarios show how Gen2Act enables manipulating unseen object types and performing novel motions for tasks not present in the robot data. Videos are at https://homangab.github.io/gen2act/