ChatPaper.aiChatPaper

RoboCasa : Simulation à grande échelle de tâches quotidiennes pour robots généralistes

RoboCasa: Large-Scale Simulation of Everyday Tasks for Generalist Robots

June 4, 2024
Auteurs: Soroush Nasiriany, Abhiram Maddukuri, Lance Zhang, Adeet Parikh, Aaron Lo, Abhishek Joshi, Ajay Mandlekar, Yuke Zhu
cs.AI

Résumé

Les récents progrès en Intelligence Artificielle (IA) ont été largement propulsés par la mise à l'échelle. En robotique, cette mise à l'échelle est entravée par le manque d'accès à des ensembles de données robotiques massifs. Nous préconisons l'utilisation de simulations physiques réalistes comme moyen de mettre à l'échelle les environnements, les tâches et les ensembles de données pour les méthodes d'apprentissage robotique. Nous présentons RoboCasa, un cadre de simulation à grande échelle pour l'entraînement de robots généralistes dans des environnements quotidiens. RoboCasa propose des scènes réalistes et diversifiées, en mettant l'accent sur les environnements de cuisine. Nous fournissons des milliers d'actifs 3D couvrant plus de 150 catégories d'objets ainsi que des dizaines de meubles et appareils interactifs. Nous enrichissons le réalisme et la diversité de notre simulation grâce à des outils d'IA générative, tels que des actifs d'objets issus de modèles texte-à-3D et des textures d'environnement issues de modèles texte-à-image. Nous concevons un ensemble de 100 tâches pour une évaluation systématique, incluant des tâches composites générées sous la guidance de grands modèles de langage. Pour faciliter l'apprentissage, nous fournissons des démonstrations humaines de haute qualité et intégrons des méthodes de génération automatique de trajectoires afin d'élargir considérablement nos ensembles de données avec un effort humain minimal. Nos expériences montrent une tendance claire à la mise à l'échelle dans l'utilisation de données robotiques synthétiquement générées pour l'apprentissage par imitation à grande échelle et révèlent un grand potentiel dans l'exploitation des données de simulation pour des tâches réelles. Les vidéos et le code open-source sont disponibles sur https://robocasa.ai/.
English
Recent advancements in Artificial Intelligence (AI) have largely been propelled by scaling. In Robotics, scaling is hindered by the lack of access to massive robot datasets. We advocate using realistic physical simulation as a means to scale environments, tasks, and datasets for robot learning methods. We present RoboCasa, a large-scale simulation framework for training generalist robots in everyday environments. RoboCasa features realistic and diverse scenes focusing on kitchen environments. We provide thousands of 3D assets across over 150 object categories and dozens of interactable furniture and appliances. We enrich the realism and diversity of our simulation with generative AI tools, such as object assets from text-to-3D models and environment textures from text-to-image models. We design a set of 100 tasks for systematic evaluation, including composite tasks generated by the guidance of large language models. To facilitate learning, we provide high-quality human demonstrations and integrate automated trajectory generation methods to substantially enlarge our datasets with minimal human burden. Our experiments show a clear scaling trend in using synthetically generated robot data for large-scale imitation learning and show great promise in harnessing simulation data in real-world tasks. Videos and open-source code are available at https://robocasa.ai/

Summary

AI-Generated Summary

PDF121December 12, 2024