RoboCasa: Simulação em Grande Escala de Tarefas Cotidianas para Robôs Generalistas
RoboCasa: Large-Scale Simulation of Everyday Tasks for Generalist Robots
June 4, 2024
Autores: Soroush Nasiriany, Abhiram Maddukuri, Lance Zhang, Adeet Parikh, Aaron Lo, Abhishek Joshi, Ajay Mandlekar, Yuke Zhu
cs.AI
Resumo
Os avanços recentes em Inteligência Artificial (IA) têm sido amplamente impulsionados pela escalabilidade. Na Robótica, a escalabilidade é dificultada pela falta de acesso a grandes conjuntos de dados robóticos. Defendemos o uso de simulação física realista como um meio de escalar ambientes, tarefas e conjuntos de dados para métodos de aprendizado de robôs. Apresentamos o RoboCasa, uma estrutura de simulação em larga escala para treinar robôs generalistas em ambientes cotidianos. O RoboCasa apresenta cenas realistas e diversificadas, com foco em ambientes de cozinha. Fornecemos milhares de ativos 3D em mais de 150 categorias de objetos e dezenas de móveis e eletrodomésticos interativos. Enriquecemos o realismo e a diversidade de nossa simulação com ferramentas de IA generativa, como ativos de objetos de modelos texto-para-3D e texturas de ambiente de modelos texto-para-imagem. Projetamos um conjunto de 100 tarefas para avaliação sistemática, incluindo tarefas compostas geradas com a orientação de modelos de linguagem de grande escala. Para facilitar o aprendizado, fornecemos demonstrações humanas de alta qualidade e integramos métodos de geração automática de trajetórias para ampliar substancialmente nossos conjuntos de dados com o mínimo de esforço humano. Nossos experimentos mostram uma clara tendência de escalabilidade no uso de dados robóticos gerados sinteticamente para aprendizado por imitação em larga escala e demonstram grande potencial no aproveitamento de dados de simulação em tarefas do mundo real. Vídeos e código de código aberto estão disponíveis em https://robocasa.ai/.
English
Recent advancements in Artificial Intelligence (AI) have largely been
propelled by scaling. In Robotics, scaling is hindered by the lack of access to
massive robot datasets. We advocate using realistic physical simulation as a
means to scale environments, tasks, and datasets for robot learning methods. We
present RoboCasa, a large-scale simulation framework for training generalist
robots in everyday environments. RoboCasa features realistic and diverse scenes
focusing on kitchen environments. We provide thousands of 3D assets across over
150 object categories and dozens of interactable furniture and appliances. We
enrich the realism and diversity of our simulation with generative AI tools,
such as object assets from text-to-3D models and environment textures from
text-to-image models. We design a set of 100 tasks for systematic evaluation,
including composite tasks generated by the guidance of large language models.
To facilitate learning, we provide high-quality human demonstrations and
integrate automated trajectory generation methods to substantially enlarge our
datasets with minimal human burden. Our experiments show a clear scaling trend
in using synthetically generated robot data for large-scale imitation learning
and show great promise in harnessing simulation data in real-world tasks.
Videos and open-source code are available at https://robocasa.ai/