TRANSIC: Перенос политики из симуляции в реальный мир с помощью обучения на основе онлайн-коррекции

TRANSIC: Sim-to-Real Policy Transfer by Learning from Online Correction

May 16, 2024

Авторы: Yunfan Jiang, Chen Wang, Ruohan Zhang, Jiajun Wu, Li Fei-Fei

cs.AI

Аннотация

Обучение в симуляции и передача изученной стратегии в реальный мир имеют потенциал для создания универсальных роботов. Основным вызовом этого подхода является преодоление разрывов между симуляцией и реальностью (sim-to-real). Предыдущие методы часто требуют заранее определенных знаний, специфичных для области. Мы утверждаем, что простым способом получения таких знаний является просьба к людям наблюдать и помогать в выполнении стратегии робота в реальном мире. Роботы могут затем учиться у людей для устранения различных разрывов между симуляцией и реальностью. Мы предлагаем TRANSIC, основанный на данных подход с привлечением человека, для обеспечения успешной передачи из симуляции в реальность. TRANSIC позволяет людям дополнять стратегии симуляции для комплексного преодоления различных немоделируемых разрывов между симуляцией и реальностью через вмешательство и онлайн-коррекцию. Остаточные стратегии могут быть выучены из коррекций людей и интегрированы с стратегиями симуляции для автономного выполнения. Мы показываем, что наш подход может достичь успешной передачи из симуляции в реальность в сложных задачах с манипуляциями, таких как сборка мебели. Через синергетическую интеграцию стратегий, выученных в симуляции и от людей, TRANSIC эффективен как комплексный подход к преодолению различных, часто совместно существующих разрывов между симуляцией и реальностью. Он обладает привлекательными свойствами, такими как масштабирование с усилиями человека. Видео и код доступны на https://transic-robot.github.io/

English

Learning in simulation and transferring the learned policy to the real world has the potential to enable generalist robots. The key challenge of this approach is to address simulation-to-reality (sim-to-real) gaps. Previous methods often require domain-specific knowledge a priori. We argue that a straightforward way to obtain such knowledge is by asking humans to observe and assist robot policy execution in the real world. The robots can then learn from humans to close various sim-to-real gaps. We propose TRANSIC, a data-driven approach to enable successful sim-to-real transfer based on a human-in-the-loop framework. TRANSIC allows humans to augment simulation policies to overcome various unmodeled sim-to-real gaps holistically through intervention and online correction. Residual policies can be learned from human corrections and integrated with simulation policies for autonomous execution. We show that our approach can achieve successful sim-to-real transfer in complex and contact-rich manipulation tasks such as furniture assembly. Through synergistic integration of policies learned in simulation and from humans, TRANSIC is effective as a holistic approach to addressing various, often coexisting sim-to-real gaps. It displays attractive properties such as scaling with human effort. Videos and code are available at https://transic-robot.github.io/