RoboGen : Vers la libération de données infinies pour l'apprentissage automatisé des robots via la simulation générative

RoboGen: Towards Unleashing Infinite Data for Automated Robot Learning via Generative Simulation

November 2, 2023

Auteurs: Yufei Wang, Zhou Xian, Feng Chen, Tsun-Hsuan Wang, Yian Wang, Katerina Fragkiadaki, Zackory Erickson, David Held, Chuang Gan

cs.AI

Résumé

Nous présentons RoboGen, un agent robotique génératif qui apprend automatiquement une diversité de compétences robotiques à grande échelle via une simulation générative. RoboGen exploite les avancées les plus récentes en matière de modèles de base et génératifs. Plutôt que d'utiliser ou d'adapter directement ces modèles pour produire des politiques ou des actions de bas niveau, nous préconisons un schéma génératif qui utilise ces modèles pour générer automatiquement des tâches, des scènes et des supervisions d'entraînement diversifiées, permettant ainsi de mettre à l'échelle l'apprentissage de compétences robotiques avec un minimum de supervision humaine. Notre approche dote un agent robotique d'un cycle auto-guidé de proposition-génération-apprentissage : l'agent propose d'abord des tâches et des compétences intéressantes à développer, puis génère des environnements de simulation correspondants en peuplant des objets et des ressources pertinents avec des configurations spatiales appropriées. Ensuite, l'agent décompose la tâche de haut niveau proposée en sous-tâches, sélectionne l'approche d'apprentissage optimale (apprentissage par renforcement, planification de mouvement ou optimisation de trajectoire), génère les supervisions d'entraînement nécessaires, puis apprend des politiques pour acquérir la compétence proposée. Notre travail tente d'extraire les connaissances étendues et polyvalentes intégrées dans les modèles à grande échelle et de les transférer au domaine de la robotique. Notre pipeline entièrement génératif peut être interrogé de manière répétée, produisant un flux ininterrompu de démonstrations de compétences associées à des tâches et des environnements variés.

English

We present RoboGen, a generative robotic agent that automatically learns diverse robotic skills at scale via generative simulation. RoboGen leverages the latest advancements in foundation and generative models. Instead of directly using or adapting these models to produce policies or low-level actions, we advocate for a generative scheme, which uses these models to automatically generate diversified tasks, scenes, and training supervisions, thereby scaling up robotic skill learning with minimal human supervision. Our approach equips a robotic agent with a self-guided propose-generate-learn cycle: the agent first proposes interesting tasks and skills to develop, and then generates corresponding simulation environments by populating pertinent objects and assets with proper spatial configurations. Afterwards, the agent decomposes the proposed high-level task into sub-tasks, selects the optimal learning approach (reinforcement learning, motion planning, or trajectory optimization), generates required training supervision, and then learns policies to acquire the proposed skill. Our work attempts to extract the extensive and versatile knowledge embedded in large-scale models and transfer them to the field of robotics. Our fully generative pipeline can be queried repeatedly, producing an endless stream of skill demonstrations associated with diverse tasks and environments.