RoboCasa: Simulazione su larga scala di attività quotidiane per robot generalisti

RoboCasa: Large-Scale Simulation of Everyday Tasks for Generalist Robots

June 4, 2024

Autori: Soroush Nasiriany, Abhiram Maddukuri, Lance Zhang, Adeet Parikh, Aaron Lo, Abhishek Joshi, Ajay Mandlekar, Yuke Zhu

cs.AI

Abstract

I recenti progressi nell'Intelligenza Artificiale (IA) sono stati in gran parte alimentati dal concetto di scalabilità. Nella robotica, la scalabilità è ostacolata dalla mancanza di accesso a grandi dataset robotici. Proponiamo l'uso di simulazioni fisiche realistiche come mezzo per scalare ambienti, compiti e dataset per i metodi di apprendimento robotico. Presentiamo RoboCasa, un framework di simulazione su larga scala per l'addestramento di robot generalisti in ambienti quotidiani. RoboCasa offre scene realistiche e diversificate, con un focus particolare sugli ambienti cucina. Forniamo migliaia di asset 3D appartenenti a oltre 150 categorie di oggetti e decine di mobili ed elettrodomestici interattivi. Arricchiamo il realismo e la diversità della nostra simulazione utilizzando strumenti di IA generativa, come asset di oggetti derivati da modelli text-to-3D e texture ambientali da modelli text-to-image. Progettiamo un insieme di 100 compiti per una valutazione sistematica, inclusi compiti compositi generati con la guida di modelli linguistici di grandi dimensioni. Per facilitare l'apprendimento, forniamo dimostrazioni umane di alta qualità e integriamo metodi di generazione automatica di traiettorie per ampliare sostanzialmente i nostri dataset con un carico umano minimo. I nostri esperimenti mostrano una chiara tendenza alla scalabilità nell'uso di dati robotici sintetici per l'apprendimento imitativo su larga scala e dimostrano un grande potenziale nell'utilizzo di dati simulati per compiti nel mondo reale. Video e codice open-source sono disponibili su https://robocasa.ai/.

English

Recent advancements in Artificial Intelligence (AI) have largely been propelled by scaling. In Robotics, scaling is hindered by the lack of access to massive robot datasets. We advocate using realistic physical simulation as a means to scale environments, tasks, and datasets for robot learning methods. We present RoboCasa, a large-scale simulation framework for training generalist robots in everyday environments. RoboCasa features realistic and diverse scenes focusing on kitchen environments. We provide thousands of 3D assets across over 150 object categories and dozens of interactable furniture and appliances. We enrich the realism and diversity of our simulation with generative AI tools, such as object assets from text-to-3D models and environment textures from text-to-image models. We design a set of 100 tasks for systematic evaluation, including composite tasks generated by the guidance of large language models. To facilitate learning, we provide high-quality human demonstrations and integrate automated trajectory generation methods to substantially enlarge our datasets with minimal human burden. Our experiments show a clear scaling trend in using synthetically generated robot data for large-scale imitation learning and show great promise in harnessing simulation data in real-world tasks. Videos and open-source code are available at https://robocasa.ai/