IRASim: インタラクティブな実ロボット動作シミュレータの学習

要旨

現実世界におけるスケーラブルなロボット学習は、実機ロボットのコストと安全性の問題によって制限されています。さらに、現実世界でロボットの軌道を展開することは時間と労力を要する作業です。本論文では、代替手段としてインタラクティブな実機ロボット動作シミュレータを学習することを提案します。我々は、生成モデルの力を活用して、与えられた初期フレームから開始し、特定の動作軌道を実行するロボットアームの極めてリアルな動画を生成する新しい手法、IRASimを紹介します。本手法の有効性を検証するため、3つの実機ロボットデータセットに基づく新しいベンチマーク、IRASim Benchmarkを作成し、このベンチマークで広範な実験を行いました。結果は、IRASimがすべてのベースラインメソッドを上回り、人間による評価でもより好まれることを示しています。我々は、IRASimが現実世界におけるロボット学習を強化するための効果的でスケーラブルなアプローチとして役立つことを期待しています。生成型実機ロボット動作シミュレータの研究を促進するため、コード、ベンチマーク、およびチェックポイントをhttps://gen-irasim.github.ioでオープンソースとして公開しています。

English

Scalable robot learning in the real world is limited by the cost and safety issues of real robots. In addition, rolling out robot trajectories in the real world can be time-consuming and labor-intensive. In this paper, we propose to learn an interactive real-robot action simulator as an alternative. We introduce a novel method, IRASim, which leverages the power of generative models to generate extremely realistic videos of a robot arm that executes a given action trajectory, starting from an initial given frame. To validate the effectiveness of our method, we create a new benchmark, IRASim Benchmark, based on three real-robot datasets and perform extensive experiments on the benchmark. Results show that IRASim outperforms all the baseline methods and is more preferable in human evaluations. We hope that IRASim can serve as an effective and scalable approach to enhance robot learning in the real world. To promote research for generative real-robot action simulators, we open-source code, benchmark, and checkpoints at https: //gen-irasim.github.io.

IRASim: インタラクティブな実ロボット動作シミュレータの学習

IRASim: Learning Interactive Real-Robot Action Simulators

要旨

Support