IRASim: 인터랙티브 실제 로봇 동작 시뮬레이터 학습

IRASim: Learning Interactive Real-Robot Action Simulators

June 20, 2024

저자: Fangqi Zhu, Hongtao Wu, Song Guo, Yuxiao Liu, Chilam Cheang, Tao Kong

cs.AI

초록

실제 로봇의 비용과 안전 문제로 인해 현실 세계에서의 확장 가능한 로봇 학습은 제한적입니다. 또한, 실제 환경에서 로봇 궤적을 실행하는 것은 시간이 많이 소요되고 노동 집약적일 수 있습니다. 본 논문에서는 이러한 문제를 해결하기 위해 대안으로 상호작용 가능한 실제 로봇 동작 시뮬레이터를 학습하는 방법을 제안합니다. 우리는 새로운 방법론인 IRASim을 소개하며, 이는 생성 모델의 힘을 활용하여 주어진 초기 프레임에서 시작해 특정 동작 궤적을 실행하는 로봇 팔의 매우 현실적인 비디오를 생성합니다. 우리 방법의 효과를 검증하기 위해, 세 가지 실제 로봇 데이터셋을 기반으로 새로운 벤치마크인 IRASim Benchmark를 구축하고 이 벤치마크에서 광범위한 실험을 수행했습니다. 실험 결과, IRASim은 모든 기준 방법을 능가하며 인간 평가에서도 더 선호되는 것으로 나타났습니다. 우리는 IRASim이 현실 세계에서의 로봇 학습을 향상시키는 효과적이고 확장 가능한 접근 방식으로 활용되기를 바랍니다. 생성적 실제 로봇 동작 시뮬레이터 연구를 촉진하기 위해, 우리는 코드, 벤치마크, 체크포인트를 https://gen-irasim.github.io에서 오픈소스로 공개합니다.

English

Scalable robot learning in the real world is limited by the cost and safety issues of real robots. In addition, rolling out robot trajectories in the real world can be time-consuming and labor-intensive. In this paper, we propose to learn an interactive real-robot action simulator as an alternative. We introduce a novel method, IRASim, which leverages the power of generative models to generate extremely realistic videos of a robot arm that executes a given action trajectory, starting from an initial given frame. To validate the effectiveness of our method, we create a new benchmark, IRASim Benchmark, based on three real-robot datasets and perform extensive experiments on the benchmark. Results show that IRASim outperforms all the baseline methods and is more preferable in human evaluations. We hope that IRASim can serve as an effective and scalable approach to enhance robot learning in the real world. To promote research for generative real-robot action simulators, we open-source code, benchmark, and checkpoints at https: //gen-irasim.github.io.