RoboGen: Op Weg naar Onbeperkte Data voor Geautomatiseerd Robotleren via Generatieve Simulatie

RoboGen: Towards Unleashing Infinite Data for Automated Robot Learning via Generative Simulation

November 2, 2023

Auteurs: Yufei Wang, Zhou Xian, Feng Chen, Tsun-Hsuan Wang, Yian Wang, Katerina Fragkiadaki, Zackory Erickson, David Held, Chuang Gan

cs.AI

Samenvatting

We presenteren RoboGen, een generatief robotisch agent die op grote schaal diverse robotvaardigheden automatisch aanleert via generatieve simulatie. RoboGen maakt gebruik van de nieuwste ontwikkelingen in foundation- en generatieve modellen. In plaats van deze modellen direct te gebruiken of aan te passen om beleidsregels of laag-niveau acties te produceren, pleiten we voor een generatief schema dat deze modellen gebruikt om automatisch gediversifieerde taken, scènes en trainingssupervisie te genereren, waardoor het leren van robotvaardigheden wordt opgeschaald met minimale menselijke supervisie. Onze aanpak voorziet een robotisch agent van een zelfgestuurd voorstel-genereren-leren cyclus: de agent stelt eerst interessante taken en vaardigheden voor om te ontwikkelen, en genereert vervolgens bijbehorende simulatieomgevingen door relevante objecten en assets te plaatsen met de juiste ruimtelijke configuraties. Daarna deelt de agent de voorgestelde hoog-niveau taak op in sub-taken, selecteert de optimale leerbenadering (versterkend leren, bewegingsplanning of trajectoptimalisatie), genereert de benodigde trainingssupervisie, en leert vervolgens beleidsregels om de voorgestelde vaardigheid te verwerven. Ons werk probeert de uitgebreide en veelzijdige kennis die is ingebed in grootschalige modellen te extraheren en over te dragen naar het veld van robotica. Onze volledig generatieve pijplijn kan herhaaldelijk worden bevraagd, waardoor een eindeloze stroom van vaardigheidsdemonstraties wordt geproduceerd die geassocieerd zijn met diverse taken en omgevingen.

English

We present RoboGen, a generative robotic agent that automatically learns diverse robotic skills at scale via generative simulation. RoboGen leverages the latest advancements in foundation and generative models. Instead of directly using or adapting these models to produce policies or low-level actions, we advocate for a generative scheme, which uses these models to automatically generate diversified tasks, scenes, and training supervisions, thereby scaling up robotic skill learning with minimal human supervision. Our approach equips a robotic agent with a self-guided propose-generate-learn cycle: the agent first proposes interesting tasks and skills to develop, and then generates corresponding simulation environments by populating pertinent objects and assets with proper spatial configurations. Afterwards, the agent decomposes the proposed high-level task into sub-tasks, selects the optimal learning approach (reinforcement learning, motion planning, or trajectory optimization), generates required training supervision, and then learns policies to acquire the proposed skill. Our work attempts to extract the extensive and versatile knowledge embedded in large-scale models and transfer them to the field of robotics. Our fully generative pipeline can be queried repeatedly, producing an endless stream of skill demonstrations associated with diverse tasks and environments.