IRASim: Het leren van interactieve simulatoren voor real-robot acties

IRASim: Learning Interactive Real-Robot Action Simulators

June 20, 2024

Auteurs: Fangqi Zhu, Hongtao Wu, Song Guo, Yuxiao Liu, Chilam Cheang, Tao Kong

cs.AI

Samenvatting

Schaalbare robotlerning in de echte wereld wordt beperkt door de kosten en veiligheidsproblemen van echte robots. Bovendien kan het uitrollen van robotbanen in de echte wereld tijdrovend en arbeidsintensief zijn. In dit artikel stellen we voor om een interactieve simulator voor echte robotacties te leren als alternatief. We introduceren een nieuwe methode, IRASim, die gebruikmaakt van de kracht van generatieve modellen om uiterst realistische video's te genereren van een robotarm die een gegeven actiebaan uitvoert, startend vanuit een initieel gegeven frame. Om de effectiviteit van onze methode te valideren, creëren we een nieuwe benchmark, de IRASim Benchmark, gebaseerd op drie datasets van echte robots, en voeren we uitgebreide experimenten uit op de benchmark. De resultaten tonen aan dat IRASim alle baseline-methoden overtreft en meer wordt geprefereerd in menselijke evaluaties. We hopen dat IRASim kan dienen als een effectieve en schaalbare aanpak om robotlerning in de echte wereld te verbeteren. Om onderzoek naar generatieve simulators voor echte robotacties te bevorderen, maken we de code, benchmark en checkpoints openbaar op https://gen-irasim.github.io.

English

Scalable robot learning in the real world is limited by the cost and safety issues of real robots. In addition, rolling out robot trajectories in the real world can be time-consuming and labor-intensive. In this paper, we propose to learn an interactive real-robot action simulator as an alternative. We introduce a novel method, IRASim, which leverages the power of generative models to generate extremely realistic videos of a robot arm that executes a given action trajectory, starting from an initial given frame. To validate the effectiveness of our method, we create a new benchmark, IRASim Benchmark, based on three real-robot datasets and perform extensive experiments on the benchmark. Results show that IRASim outperforms all the baseline methods and is more preferable in human evaluations. We hope that IRASim can serve as an effective and scalable approach to enhance robot learning in the real world. To promote research for generative real-robot action simulators, we open-source code, benchmark, and checkpoints at https: //gen-irasim.github.io.