Gen2Act: Die Generierung von menschlichen Videos in neuen Szenarien ermöglicht eine generalisierbare Roboter-Manipulation.

Gen2Act: Human Video Generation in Novel Scenarios enables Generalizable Robot Manipulation

September 24, 2024

Autoren: Homanga Bharadhwaj, Debidatta Dwibedi, Abhinav Gupta, Shubham Tulsiani, Carl Doersch, Ted Xiao, Dhruv Shah, Fei Xia, Dorsa Sadigh, Sean Kirmani

cs.AI

Zusammenfassung

Wie können sich Roboter-Manipulationsrichtlinien auf neue Aufgaben mit unerkannten Objekttypen und neuen Bewegungen verallgemeinern lassen? In diesem Paper präsentieren wir eine Lösung, die darauf basiert, Bewegungsinformationen aus Webdaten vorherzusagen, indem menschliche Videos generiert und eine Roboter-Richtlinie auf dem generierten Video konditioniert werden. Anstatt zu versuchen, die Datensammlung von Robotern zu skalieren, was teuer ist, zeigen wir, wie wir Videogenerierungsmodelle nutzen können, die auf leicht verfügbaren Webdaten trainiert sind, um eine Verallgemeinerung zu ermöglichen. Unser Ansatz Gen2Act betrachtet sprachkonditionierte Manipulation als Null-Shot-menschliche Videogenerierung, gefolgt von der Ausführung mit einer einzigen auf dem generierten Video konditionierten Richtlinie. Um die Richtlinie zu trainieren, verwenden wir eine Größenordnung weniger Roboterinteraktionsdaten im Vergleich zu dem, worauf das Videovorhersagemodell trainiert wurde. Gen2Act erfordert überhaupt kein Feintuning des Videomodells, und wir verwenden direkt ein vorab trainiertes Modell zur Generierung menschlicher Videos. Unsere Ergebnisse in vielfältigen realen Szenarien zeigen, wie Gen2Act das Manipulieren von unerkannten Objekttypen und das Ausführen neuer Bewegungen für Aufgaben ermöglicht, die nicht in den Roboterdaten enthalten sind. Videos sind unter https://homangab.github.io/gen2act/ verfügbar.

English

How can robot manipulation policies generalize to novel tasks involving unseen object types and new motions? In this paper, we provide a solution in terms of predicting motion information from web data through human video generation and conditioning a robot policy on the generated video. Instead of attempting to scale robot data collection which is expensive, we show how we can leverage video generation models trained on easily available web data, for enabling generalization. Our approach Gen2Act casts language-conditioned manipulation as zero-shot human video generation followed by execution with a single policy conditioned on the generated video. To train the policy, we use an order of magnitude less robot interaction data compared to what the video prediction model was trained on. Gen2Act doesn't require fine-tuning the video model at all and we directly use a pre-trained model for generating human videos. Our results on diverse real-world scenarios show how Gen2Act enables manipulating unseen object types and performing novel motions for tasks not present in the robot data. Videos are at https://homangab.github.io/gen2act/