RoboGen: На пути к созданию бесконечных данных для автоматизированного обучения роботов с помощью генеративного моделирования

RoboGen: Towards Unleashing Infinite Data for Automated Robot Learning via Generative Simulation

November 2, 2023

Авторы: Yufei Wang, Zhou Xian, Feng Chen, Tsun-Hsuan Wang, Yian Wang, Katerina Fragkiadaki, Zackory Erickson, David Held, Chuang Gan

cs.AI

Аннотация

Мы представляем RoboGen — генеративного роботизированного агента, который автоматически обучается разнообразным роботизированным навыкам в масштабе с помощью генеративной симуляции. RoboGen использует последние достижения в области базовых и генеративных моделей. Вместо прямого применения или адаптации этих моделей для создания политик или низкоуровневых действий мы предлагаем генеративную схему, которая использует эти модели для автоматического создания разнообразных задач, сцен и обучающих данных, тем самым масштабируя обучение роботизированным навыкам с минимальным участием человека. Наш подход оснащает роботизированного агента самоконтролируемым циклом «предложить-сгенерировать-обучиться»: агент сначала предлагает интересные задачи и навыки для разработки, затем генерирует соответствующие симуляционные среды, размещая соответствующие объекты и ресурсы с правильными пространственными конфигурациями. После этого агент разбивает предложенную высокоуровневую задачу на подзадачи, выбирает оптимальный подход к обучению (обучение с подкреплением, планирование движения или оптимизация траектории), генерирует необходимые обучающие данные и затем обучает политики для приобретения предложенного навыка. Наша работа направлена на извлечение обширных и универсальных знаний, заложенных в крупномасштабных моделях, и их перенос в область робототехники. Наш полностью генеративный конвейер может быть запрошен многократно, создавая бесконечный поток демонстраций навыков, связанных с разнообразными задачами и средами.

English

We present RoboGen, a generative robotic agent that automatically learns diverse robotic skills at scale via generative simulation. RoboGen leverages the latest advancements in foundation and generative models. Instead of directly using or adapting these models to produce policies or low-level actions, we advocate for a generative scheme, which uses these models to automatically generate diversified tasks, scenes, and training supervisions, thereby scaling up robotic skill learning with minimal human supervision. Our approach equips a robotic agent with a self-guided propose-generate-learn cycle: the agent first proposes interesting tasks and skills to develop, and then generates corresponding simulation environments by populating pertinent objects and assets with proper spatial configurations. Afterwards, the agent decomposes the proposed high-level task into sub-tasks, selects the optimal learning approach (reinforcement learning, motion planning, or trajectory optimization), generates required training supervision, and then learns policies to acquire the proposed skill. Our work attempts to extract the extensive and versatile knowledge embedded in large-scale models and transfer them to the field of robotics. Our fully generative pipeline can be queried repeatedly, producing an endless stream of skill demonstrations associated with diverse tasks and environments.