IRASim: Lernen interaktiver Echtroboter-Aktionssimulatoren

IRASim: Learning Interactive Real-Robot Action Simulators

June 20, 2024

papers.authors: Fangqi Zhu, Hongtao Wu, Song Guo, Yuxiao Liu, Chilam Cheang, Tao Kong

cs.AI

papers.abstract

Das skalierbare Lernen von Robotern in der realen Welt wird durch die Kosten- und Sicherheitsprobleme realer Roboter begrenzt. Darüber hinaus kann das Ausrollen von Robotertrajektorien in der realen Welt zeitaufwändig und arbeitsintensiv sein. In diesem Paper schlagen wir vor, einen interaktiven Echtroboter-Aktionssimulator als Alternative zu erlernen. Wir stellen eine neue Methode, IRASim, vor, die die Leistung generativer Modelle nutzt, um äußerst realistische Videos eines Roboterarms zu generieren, der eine gegebene Aktionsbahn ausführt, ausgehend von einem initialen gegebenen Frame. Zur Validierung der Effektivität unserer Methode erstellen wir einen neuen Benchmark, den IRASim Benchmark, basierend auf drei realen Roboterdatensätzen, und führen umfangreiche Experimente auf dem Benchmark durch. Die Ergebnisse zeigen, dass IRASim alle Basismethoden übertrifft und in menschlichen Bewertungen bevorzugt wird. Wir hoffen, dass IRASim als effektiver und skalierbarer Ansatz dienen kann, um das Roboterlernen in der realen Welt zu verbessern. Um die Forschung für generative Echtroboter-Aktionssimulatoren zu fördern, stellen wir den Code, den Benchmark und die Checkpoints unter https://gen-irasim.github.io als Open Source zur Verfügung.

English

Scalable robot learning in the real world is limited by the cost and safety issues of real robots. In addition, rolling out robot trajectories in the real world can be time-consuming and labor-intensive. In this paper, we propose to learn an interactive real-robot action simulator as an alternative. We introduce a novel method, IRASim, which leverages the power of generative models to generate extremely realistic videos of a robot arm that executes a given action trajectory, starting from an initial given frame. To validate the effectiveness of our method, we create a new benchmark, IRASim Benchmark, based on three real-robot datasets and perform extensive experiments on the benchmark. Results show that IRASim outperforms all the baseline methods and is more preferable in human evaluations. We hope that IRASim can serve as an effective and scalable approach to enhance robot learning in the real world. To promote research for generative real-robot action simulators, we open-source code, benchmark, and checkpoints at https: //gen-irasim.github.io.