RoboGen: Rumo à Liberação de Dados Infinitos para Aprendizado Automatizado de Robôs por meio de Simulação Generativa

RoboGen: Towards Unleashing Infinite Data for Automated Robot Learning via Generative Simulation

November 2, 2023

Autores: Yufei Wang, Zhou Xian, Feng Chen, Tsun-Hsuan Wang, Yian Wang, Katerina Fragkiadaki, Zackory Erickson, David Held, Chuang Gan

cs.AI

Resumo

Apresentamos o RoboGen, um agente robótico generativo que aprende automaticamente diversas habilidades robóticas em escala por meio de simulação generativa. O RoboGen aproveita os avanços mais recentes em modelos de base e generativos. Em vez de usar ou adaptar diretamente esses modelos para produzir políticas ou ações de baixo nível, defendemos um esquema generativo, que utiliza esses modelos para gerar automaticamente tarefas, cenários e supervisões de treinamento diversificados, escalando assim o aprendizado de habilidades robóticas com supervisão humana mínima. Nossa abordagem equipa um agente robótico com um ciclo autoguiado de propor-gerar-aprender: o agente primeiro propõe tarefas e habilidades interessantes para desenvolver e, em seguida, gera ambientes de simulação correspondentes, populando objetos e ativos pertinentes com configurações espaciais adequadas. Posteriormente, o agente decompõe a tarefa de alto nível proposta em sub-tarefas, seleciona a abordagem de aprendizado ideal (aprendizado por reforço, planejamento de movimento ou otimização de trajetória), gera a supervisão de treinamento necessária e, em seguida, aprende políticas para adquirir a habilidade proposta. Nosso trabalho tenta extrair o conhecimento extenso e versátil incorporado em modelos de grande escala e transferi-los para o campo da robótica. Nosso pipeline totalmente generativo pode ser consultado repetidamente, produzindo um fluxo interminável de demonstrações de habilidades associadas a diversas tarefas e ambientes.

English

We present RoboGen, a generative robotic agent that automatically learns diverse robotic skills at scale via generative simulation. RoboGen leverages the latest advancements in foundation and generative models. Instead of directly using or adapting these models to produce policies or low-level actions, we advocate for a generative scheme, which uses these models to automatically generate diversified tasks, scenes, and training supervisions, thereby scaling up robotic skill learning with minimal human supervision. Our approach equips a robotic agent with a self-guided propose-generate-learn cycle: the agent first proposes interesting tasks and skills to develop, and then generates corresponding simulation environments by populating pertinent objects and assets with proper spatial configurations. Afterwards, the agent decomposes the proposed high-level task into sub-tasks, selects the optimal learning approach (reinforcement learning, motion planning, or trajectory optimization), generates required training supervision, and then learns policies to acquire the proposed skill. Our work attempts to extract the extensive and versatile knowledge embedded in large-scale models and transfer them to the field of robotics. Our fully generative pipeline can be queried repeatedly, producing an endless stream of skill demonstrations associated with diverse tasks and environments.