RoboGen: Hacia la Liberación de Datos Infinitos para el Aprendizaje Automatizado de Robots mediante Simulación Generativa

RoboGen: Towards Unleashing Infinite Data for Automated Robot Learning via Generative Simulation

November 2, 2023

Autores: Yufei Wang, Zhou Xian, Feng Chen, Tsun-Hsuan Wang, Yian Wang, Katerina Fragkiadaki, Zackory Erickson, David Held, Chuang Gan

cs.AI

Resumen

Presentamos RoboGen, un agente robótico generativo que aprende automáticamente diversas habilidades robóticas a gran escala mediante simulación generativa. RoboGen aprovecha los últimos avances en modelos fundacionales y generativos. En lugar de utilizar o adaptar directamente estos modelos para producir políticas o acciones de bajo nivel, proponemos un esquema generativo que emplea estos modelos para generar automáticamente tareas, escenarios y supervisiones de entrenamiento diversificados, escalando así el aprendizaje de habilidades robóticas con supervisión humana mínima. Nuestro enfoque equipa a un agente robótico con un ciclo autoguiado de proponer-generar-aprender: el agente primero propone tareas y habilidades interesantes para desarrollar, luego genera entornos de simulación correspondientes al poblar objetos y activos pertinentes con configuraciones espaciales adecuadas. Posteriormente, el agente descompone la tarea de alto nivel propuesta en subtareas, selecciona el enfoque de aprendizaje óptimo (aprendizaje por refuerzo, planificación de movimientos u optimización de trayectorias), genera la supervisión de entrenamiento requerida y luego aprende políticas para adquirir la habilidad propuesta. Nuestro trabajo intenta extraer el conocimiento extenso y versátil incrustado en modelos a gran escala y transferirlo al campo de la robótica. Nuestra canalización completamente generativa puede consultarse repetidamente, produciendo un flujo interminable de demostraciones de habilidades asociadas con diversas tareas y entornos.

English

We present RoboGen, a generative robotic agent that automatically learns diverse robotic skills at scale via generative simulation. RoboGen leverages the latest advancements in foundation and generative models. Instead of directly using or adapting these models to produce policies or low-level actions, we advocate for a generative scheme, which uses these models to automatically generate diversified tasks, scenes, and training supervisions, thereby scaling up robotic skill learning with minimal human supervision. Our approach equips a robotic agent with a self-guided propose-generate-learn cycle: the agent first proposes interesting tasks and skills to develop, and then generates corresponding simulation environments by populating pertinent objects and assets with proper spatial configurations. Afterwards, the agent decomposes the proposed high-level task into sub-tasks, selects the optimal learning approach (reinforcement learning, motion planning, or trajectory optimization), generates required training supervision, and then learns policies to acquire the proposed skill. Our work attempts to extract the extensive and versatile knowledge embedded in large-scale models and transfer them to the field of robotics. Our fully generative pipeline can be queried repeatedly, producing an endless stream of skill demonstrations associated with diverse tasks and environments.