IRASim: Aprendizado de Simuladores de Ação Interativa em Robôs Reais

IRASim: Learning Interactive Real-Robot Action Simulators

June 20, 2024

Autores: Fangqi Zhu, Hongtao Wu, Song Guo, Yuxiao Liu, Chilam Cheang, Tao Kong

cs.AI

Resumo

A aprendizagem de robôs escalável no mundo real é limitada pelo custo e questões de segurança dos robôs reais. Além disso, implementar trajetórias de robôs no mundo real pode ser demorado e exigir muito trabalho. Neste artigo, propomos aprender um simulador de ação de robô real interativo como alternativa. Apresentamos um método inovador, IRASim, que aproveita o poder de modelos generativos para gerar vídeos extremamente realistas de um braço de robô executando uma trajetória de ação dada, a partir de um quadro inicial fornecido. Para validar a eficácia do nosso método, criamos um novo benchmark, IRASim Benchmark, com base em três conjuntos de dados de robôs reais e realizamos experimentos extensivos no benchmark. Os resultados mostram que o IRASim supera todos os métodos de referência e é mais preferível em avaliações humanas. Esperamos que o IRASim possa servir como uma abordagem eficaz e escalável para aprimorar a aprendizagem de robôs no mundo real. Para promover a pesquisa em simuladores de ação de robô real generativos, disponibilizamos o código, benchmark e checkpoints em código aberto em https://gen-irasim.github.io.

English

Scalable robot learning in the real world is limited by the cost and safety issues of real robots. In addition, rolling out robot trajectories in the real world can be time-consuming and labor-intensive. In this paper, we propose to learn an interactive real-robot action simulator as an alternative. We introduce a novel method, IRASim, which leverages the power of generative models to generate extremely realistic videos of a robot arm that executes a given action trajectory, starting from an initial given frame. To validate the effectiveness of our method, we create a new benchmark, IRASim Benchmark, based on three real-robot datasets and perform extensive experiments on the benchmark. Results show that IRASim outperforms all the baseline methods and is more preferable in human evaluations. We hope that IRASim can serve as an effective and scalable approach to enhance robot learning in the real world. To promote research for generative real-robot action simulators, we open-source code, benchmark, and checkpoints at https: //gen-irasim.github.io.