IRASim: Apprendimento di simulatori interattivi per azioni su robot reali

IRASim: Learning Interactive Real-Robot Action Simulators

June 20, 2024

Autori: Fangqi Zhu, Hongtao Wu, Song Guo, Yuxiao Liu, Chilam Cheang, Tao Kong

cs.AI

Abstract

L'apprendimento scalabile dei robot nel mondo reale è limitato dai costi e dai problemi di sicurezza legati all'uso di robot fisici. Inoltre, l'esecuzione di traiettorie robotiche nel mondo reale può essere dispendiosa in termini di tempo e di risorse umane. In questo articolo, proponiamo di apprendere un simulatore interattivo di azioni robotiche reali come alternativa. Introduciamo un nuovo metodo, IRASim, che sfrutta la potenza dei modelli generativi per produrre video estremamente realistici di un braccio robotico che esegue una determinata traiettoria di azione, partendo da un fotogramma iniziale fornito. Per validare l'efficacia del nostro metodo, creiamo un nuovo benchmark, IRASim Benchmark, basato su tre dataset di robot reali e conduciamo esperimenti estesi su tale benchmark. I risultati dimostrano che IRASim supera tutti i metodi di riferimento ed è preferito nelle valutazioni umane. Speriamo che IRASim possa rappresentare un approccio efficace e scalabile per migliorare l'apprendimento dei robot nel mondo reale. Per promuovere la ricerca sui simulatori generativi di azioni robotiche reali, rendiamo disponibili in open-source il codice, il benchmark e i checkpoint all'indirizzo https://gen-irasim.github.io.

English

Scalable robot learning in the real world is limited by the cost and safety issues of real robots. In addition, rolling out robot trajectories in the real world can be time-consuming and labor-intensive. In this paper, we propose to learn an interactive real-robot action simulator as an alternative. We introduce a novel method, IRASim, which leverages the power of generative models to generate extremely realistic videos of a robot arm that executes a given action trajectory, starting from an initial given frame. To validate the effectiveness of our method, we create a new benchmark, IRASim Benchmark, based on three real-robot datasets and perform extensive experiments on the benchmark. Results show that IRASim outperforms all the baseline methods and is more preferable in human evaluations. We hope that IRASim can serve as an effective and scalable approach to enhance robot learning in the real world. To promote research for generative real-robot action simulators, we open-source code, benchmark, and checkpoints at https: //gen-irasim.github.io.