IRASim: Aprendizaje de simuladores de acciones interactivas para robots reales

IRASim: Learning Interactive Real-Robot Action Simulators

June 20, 2024

Autores: Fangqi Zhu, Hongtao Wu, Song Guo, Yuxiao Liu, Chilam Cheang, Tao Kong

cs.AI

Resumen

El aprendizaje escalable de robots en el mundo real se ve limitado por los costos y los problemas de seguridad asociados a los robots físicos. Además, la ejecución de trayectorias de robots en el mundo real puede ser un proceso lento y que requiere mucho esfuerzo. En este artículo, proponemos aprender un simulador interactivo de acciones de robots reales como alternativa. Introducimos un método novedoso, IRASim, que aprovecha el poder de los modelos generativos para producir videos extremadamente realistas de un brazo robótico que ejecuta una trayectoria de acción dada, comenzando desde un fotograma inicial proporcionado. Para validar la efectividad de nuestro método, creamos un nuevo punto de referencia, el IRASim Benchmark, basado en tres conjuntos de datos de robots reales, y realizamos experimentos exhaustivos en este punto de referencia. Los resultados muestran que IRASim supera a todos los métodos de referencia y es más preferido en evaluaciones humanas. Esperamos que IRASim pueda servir como un enfoque efectivo y escalable para mejorar el aprendizaje de robots en el mundo real. Para fomentar la investigación en simuladores generativos de acciones de robots reales, hemos liberado el código, el punto de referencia y los puntos de control en https://gen-irasim.github.io.

English

Scalable robot learning in the real world is limited by the cost and safety issues of real robots. In addition, rolling out robot trajectories in the real world can be time-consuming and labor-intensive. In this paper, we propose to learn an interactive real-robot action simulator as an alternative. We introduce a novel method, IRASim, which leverages the power of generative models to generate extremely realistic videos of a robot arm that executes a given action trajectory, starting from an initial given frame. To validate the effectiveness of our method, we create a new benchmark, IRASim Benchmark, based on three real-robot datasets and perform extensive experiments on the benchmark. Results show that IRASim outperforms all the baseline methods and is more preferable in human evaluations. We hope that IRASim can serve as an effective and scalable approach to enhance robot learning in the real world. To promote research for generative real-robot action simulators, we open-source code, benchmark, and checkpoints at https: //gen-irasim.github.io.