IRASim: Обучение интерактивным симуляторам действий реальных роботов

IRASim: Learning Interactive Real-Robot Action Simulators

June 20, 2024

Авторы: Fangqi Zhu, Hongtao Wu, Song Guo, Yuxiao Liu, Chilam Cheang, Tao Kong

cs.AI

Аннотация

Масштабируемое обучение роботов в реальном мире ограничено стоимостью и вопросами безопасности реальных роботов. Кроме того, развертывание траекторий роботов в реальном мире может быть длительным и трудоемким процессом. В данной статье мы предлагаем обучить интерактивный симулятор действий реального робота как альтернативу. Мы представляем новый метод, IRASim, который использует мощь генеративных моделей для создания крайне реалистичных видео роботической руки, выполняющей заданную траекторию действий, начиная с начального кадра. Для проверки эффективности нашего метода мы создаем новый бенчмарк, IRASim Benchmark, основанный на трех наборах данных реальных роботов, и проводим обширные эксперименты на данном бенчмарке. Результаты показывают, что IRASim превосходит все базовые методы и предпочтительнее в человеческих оценках. Мы надеемся, что IRASim может служить эффективным и масштабируемым подходом для улучшения обучения роботов в реальном мире. Для поощрения исследований по генеративным симуляторам действий реальных роботов мы предоставляем код с открытым исходным кодом, бенчмарк и контрольные точки на https://gen-irasim.github.io.

English

Scalable robot learning in the real world is limited by the cost and safety issues of real robots. In addition, rolling out robot trajectories in the real world can be time-consuming and labor-intensive. In this paper, we propose to learn an interactive real-robot action simulator as an alternative. We introduce a novel method, IRASim, which leverages the power of generative models to generate extremely realistic videos of a robot arm that executes a given action trajectory, starting from an initial given frame. To validate the effectiveness of our method, we create a new benchmark, IRASim Benchmark, based on three real-robot datasets and perform extensive experiments on the benchmark. Results show that IRASim outperforms all the baseline methods and is more preferable in human evaluations. We hope that IRASim can serve as an effective and scalable approach to enhance robot learning in the real world. To promote research for generative real-robot action simulators, we open-source code, benchmark, and checkpoints at https: //gen-irasim.github.io.