RoboCasa: Simulación a Gran Escala de Tareas Cotidianas para Robots Generalistas

RoboCasa: Large-Scale Simulation of Everyday Tasks for Generalist Robots

June 4, 2024

Autores: Soroush Nasiriany, Abhiram Maddukuri, Lance Zhang, Adeet Parikh, Aaron Lo, Abhishek Joshi, Ajay Mandlekar, Yuke Zhu

cs.AI

Resumen

Los recientes avances en Inteligencia Artificial (IA) han sido impulsados en gran medida por el escalamiento. En robótica, el escalamiento se ve obstaculizado por la falta de acceso a grandes conjuntos de datos robóticos. Abogamos por el uso de simulaciones físicas realistas como medio para escalar entornos, tareas y conjuntos de datos para métodos de aprendizaje robótico. Presentamos RoboCasa, un marco de simulación a gran escala para entrenar robots generalistas en entornos cotidianos. RoboCasa incluye escenas realistas y diversas, centradas en ambientes de cocina. Ofrecemos miles de activos 3D en más de 150 categorías de objetos y docenas de muebles y electrodomésticos interactuables. Enriquecimos el realismo y la diversidad de nuestra simulación con herramientas de IA generativa, como activos de objetos generados a partir de modelos de texto a 3D y texturas de entorno a partir de modelos de texto a imagen. Diseñamos un conjunto de 100 tareas para evaluación sistemática, incluyendo tareas compuestas generadas con la guía de modelos de lenguaje grandes. Para facilitar el aprendizaje, proporcionamos demostraciones humanas de alta calidad e integramos métodos de generación automática de trayectorias para ampliar sustancialmente nuestros conjuntos de datos con una carga humana mínima. Nuestros experimentos muestran una clara tendencia de escalamiento en el uso de datos robóticos sintéticos para el aprendizaje por imitación a gran escala y un gran potencial en el aprovechamiento de datos de simulación para tareas del mundo real. Videos y código de código abierto están disponibles en https://robocasa.ai/.

English

Recent advancements in Artificial Intelligence (AI) have largely been propelled by scaling. In Robotics, scaling is hindered by the lack of access to massive robot datasets. We advocate using realistic physical simulation as a means to scale environments, tasks, and datasets for robot learning methods. We present RoboCasa, a large-scale simulation framework for training generalist robots in everyday environments. RoboCasa features realistic and diverse scenes focusing on kitchen environments. We provide thousands of 3D assets across over 150 object categories and dozens of interactable furniture and appliances. We enrich the realism and diversity of our simulation with generative AI tools, such as object assets from text-to-3D models and environment textures from text-to-image models. We design a set of 100 tasks for systematic evaluation, including composite tasks generated by the guidance of large language models. To facilitate learning, we provide high-quality human demonstrations and integrate automated trajectory generation methods to substantially enlarge our datasets with minimal human burden. Our experiments show a clear scaling trend in using synthetically generated robot data for large-scale imitation learning and show great promise in harnessing simulation data in real-world tasks. Videos and open-source code are available at https://robocasa.ai/