IRASim : Apprentissage de simulateurs d'actions interactives pour robots réels

IRASim: Learning Interactive Real-Robot Action Simulators

June 20, 2024

Auteurs: Fangqi Zhu, Hongtao Wu, Song Guo, Yuxiao Liu, Chilam Cheang, Tao Kong

cs.AI

Résumé

L'apprentissage robotique scalable dans le monde réel est limité par les coûts et les problèmes de sécurité liés aux robots physiques. De plus, le déploiement de trajectoires robotiques dans le monde réel peut être chronophage et laborieux. Dans cet article, nous proposons d'apprendre un simulateur d'actions robotiques interactif comme alternative. Nous introduisons une nouvelle méthode, IRASim, qui exploite la puissance des modèles génératifs pour produire des vidéos extrêmement réalistes d'un bras robotique exécutant une trajectoire d'action donnée, à partir d'une image initiale. Pour valider l'efficacité de notre méthode, nous créons un nouveau benchmark, IRASim Benchmark, basé sur trois jeux de données de robots physiques et menons des expériences approfondies sur ce benchmark. Les résultats montrent qu'IRASim surpasse toutes les méthodes de référence et est préféré dans les évaluations humaines. Nous espérons qu'IRASim pourra servir d'approche efficace et scalable pour améliorer l'apprentissage robotique dans le monde réel. Pour promouvoir la recherche sur les simulateurs d'actions robotiques génératifs, nous mettons à disposition le code, le benchmark et les points de contrôle à l'adresse suivante : https://gen-irasim.github.io.

English

Scalable robot learning in the real world is limited by the cost and safety issues of real robots. In addition, rolling out robot trajectories in the real world can be time-consuming and labor-intensive. In this paper, we propose to learn an interactive real-robot action simulator as an alternative. We introduce a novel method, IRASim, which leverages the power of generative models to generate extremely realistic videos of a robot arm that executes a given action trajectory, starting from an initial given frame. To validate the effectiveness of our method, we create a new benchmark, IRASim Benchmark, based on three real-robot datasets and perform extensive experiments on the benchmark. Results show that IRASim outperforms all the baseline methods and is more preferable in human evaluations. We hope that IRASim can serve as an effective and scalable approach to enhance robot learning in the real world. To promote research for generative real-robot action simulators, we open-source code, benchmark, and checkpoints at https: //gen-irasim.github.io.