RoboCasa: Groß angelegte Simulation von alltäglichen Aufgaben für Generalisten-Roboter

RoboCasa: Large-Scale Simulation of Everyday Tasks for Generalist Robots

June 4, 2024

Autoren: Soroush Nasiriany, Abhiram Maddukuri, Lance Zhang, Adeet Parikh, Aaron Lo, Abhishek Joshi, Ajay Mandlekar, Yuke Zhu

cs.AI

Zusammenfassung

Die jüngsten Fortschritte in der Künstlichen Intelligenz (KI) wurden weitgehend durch Skalierung vorangetrieben. In der Robotik wird die Skalierung durch den Mangel an Zugang zu umfangreichen Roboterd atensätzen behindert. Wir plädieren dafür, realistische physikalische Simulationen als Mittel zur Skalierung von Umgebungen, Aufgaben und Datensätzen für Roboterlernmethoden zu nutzen. Wir stellen RoboCasa vor, ein groß angelegtes Simulationsframework zur Schulung von Generalistenrobotern in alltäglichen Umgebungen. RoboCasa bietet realistische und vielfältige Szenen mit Schwerpunkt auf Küchenumgebungen. Wir stellen Tausende von 3D-Assets in über 150 Objektkategorien und Dutzenden von interaktiven Möbeln und Geräten zur Verfügung. Wir bereichern die Realität und Vielfalt unserer Simulation mit generativen KI-Tools, wie Objekt-Assets von Text-zu-3D-Modellen und Umgebungstexturen von Text-zu-Bild-Modellen. Wir entwerfen einen Satz von 100 Aufgaben für eine systematische Bewertung, einschließlich zusammengesetzter Aufgaben, die unter Anleitung großer Sprachmodelle generiert wurden. Um das Lernen zu erleichtern, bieten wir hochwertige menschliche Demonstrationen und integrieren automatisierte Trajektoriengenerierungsmethoden, um unsere Datensätze mit minimalem menschlichen Aufwand erheblich zu erweitern. Unsere Experimente zeigen einen klaren Skalierungstrend bei der Verwendung synthetisch generierter Roboterdaten für groß angelegtes Imitationslernen und zeigen großes Potenzial bei der Nutzung von Simulationsdaten für Aufgaben in der realen Welt. Videos und Open-Source-Code sind verfügbar unter https://robocasa.ai/

English

Recent advancements in Artificial Intelligence (AI) have largely been propelled by scaling. In Robotics, scaling is hindered by the lack of access to massive robot datasets. We advocate using realistic physical simulation as a means to scale environments, tasks, and datasets for robot learning methods. We present RoboCasa, a large-scale simulation framework for training generalist robots in everyday environments. RoboCasa features realistic and diverse scenes focusing on kitchen environments. We provide thousands of 3D assets across over 150 object categories and dozens of interactable furniture and appliances. We enrich the realism and diversity of our simulation with generative AI tools, such as object assets from text-to-3D models and environment textures from text-to-image models. We design a set of 100 tasks for systematic evaluation, including composite tasks generated by the guidance of large language models. To facilitate learning, we provide high-quality human demonstrations and integrate automated trajectory generation methods to substantially enlarge our datasets with minimal human burden. Our experiments show a clear scaling trend in using synthetically generated robot data for large-scale imitation learning and show great promise in harnessing simulation data in real-world tasks. Videos and open-source code are available at https://robocasa.ai/