RoboGen: Auf dem Weg zur Freisetzung unendlicher Daten für automatisiertes Robotik-Lernen durch generative Simulation

RoboGen: Towards Unleashing Infinite Data for Automated Robot Learning via Generative Simulation

November 2, 2023

Autoren: Yufei Wang, Zhou Xian, Feng Chen, Tsun-Hsuan Wang, Yian Wang, Katerina Fragkiadaki, Zackory Erickson, David Held, Chuang Gan

cs.AI

Zusammenfassung

Wir präsentieren RoboGen, einen generativen Roboter-Agenten, der automatisch vielfältige robotische Fähigkeiten in großem Maßstab durch generative Simulation erlernt. RoboGen nutzt die neuesten Fortschritte in Foundation- und generativen Modellen. Anstatt diese Modelle direkt zu verwenden oder anzupassen, um Richtlinien oder Low-Level-Aktionen zu erzeugen, befürworten wir ein generatives Schema, das diese Modelle verwendet, um automatisch diversifizierte Aufgaben, Szenen und Trainingsüberwachungen zu generieren und so das Erlernen robotischer Fähigkeiten mit minimaler menschlicher Aufsicht zu skalieren. Unser Ansatz stattet einen Roboter-Agenten mit einem selbstgesteuerten Vorschlagen-Generieren-Lernen-Zyklus aus: Der Agent schlägt zunächst interessante Aufgaben und Fähigkeiten zur Entwicklung vor und generiert dann entsprechende Simulationsumgebungen, indem er relevante Objekte und Assets mit geeigneten räumlichen Konfigurationen bevölkert. Anschließend zerlegt der Agent die vorgeschlagene High-Level-Aufgabe in Teilaufgaben, wählt den optimalen Lernansatz (Bestärkendes Lernen, Bewegungsplanung oder Trajektorienoptimierung), generiert die erforderliche Trainingsüberwachung und lernt dann Richtlinien, um die vorgeschlagene Fähigkeit zu erwerben. Unsere Arbeit versucht, das umfangreiche und vielseitige Wissen, das in großskaligen Modellen eingebettet ist, zu extrahieren und auf das Feld der Robotik zu übertragen. Unsere vollständig generative Pipeline kann wiederholt abgefragt werden und erzeugt einen endlosen Strom von Fähigkeitsdemonstrationen, die mit diversen Aufgaben und Umgebungen verbunden sind.

English

We present RoboGen, a generative robotic agent that automatically learns diverse robotic skills at scale via generative simulation. RoboGen leverages the latest advancements in foundation and generative models. Instead of directly using or adapting these models to produce policies or low-level actions, we advocate for a generative scheme, which uses these models to automatically generate diversified tasks, scenes, and training supervisions, thereby scaling up robotic skill learning with minimal human supervision. Our approach equips a robotic agent with a self-guided propose-generate-learn cycle: the agent first proposes interesting tasks and skills to develop, and then generates corresponding simulation environments by populating pertinent objects and assets with proper spatial configurations. Afterwards, the agent decomposes the proposed high-level task into sub-tasks, selects the optimal learning approach (reinforcement learning, motion planning, or trajectory optimization), generates required training supervision, and then learns policies to acquire the proposed skill. Our work attempts to extract the extensive and versatile knowledge embedded in large-scale models and transfer them to the field of robotics. Our fully generative pipeline can be queried repeatedly, producing an endless stream of skill demonstrations associated with diverse tasks and environments.