RoboCasa: Масштабное моделирование повседневных задач для универсальных роботов

RoboCasa: Large-Scale Simulation of Everyday Tasks for Generalist Robots

June 4, 2024

Авторы: Soroush Nasiriany, Abhiram Maddukuri, Lance Zhang, Adeet Parikh, Aaron Lo, Abhishek Joshi, Ajay Mandlekar, Yuke Zhu

cs.AI

Аннотация

Недавние достижения в области искусственного интеллекта (ИИ) в значительной степени были обусловлены масштабированием. В робототехнике масштабирование затруднено из-за отсутствия доступа к обширным наборам данных роботов. Мы выступаем за использование реалистичной физической симуляции как средства для масштабирования сред, задач и наборов данных для методов обучения роботов. Мы представляем RoboCasa, крупномасштабную симуляционную платформу для обучения универсальных роботов в повседневных средах. RoboCasa включает реалистичные и разнообразные сцены, сосредотачиваясь на кухонных средах. Мы предоставляем тысячи 3D-объектов по более чем 150 категориям объектов и десятки мебели и бытовой техники, с которыми можно взаимодействовать. Мы обогащаем реализм и разнообразие нашей симуляции с помощью генеративных инструментов ИИ, таких как объекты из текста в 3D-модели и текстуры окружения из текста в изображения. Мы разрабатываем набор из 100 задач для систематической оценки, включая составные задачи, созданные под руководством крупных языковых моделей. Для облегчения обучения мы предоставляем высококачественные демонстрации человека и интегрируем методы автоматической генерации траекторий для значительного расширения наших наборов данных с минимальной нагрузкой на человека. Наши эксперименты показывают явную тенденцию к масштабированию при использовании синтетически сгенерированных данных роботов для обучения по методу имитации в крупномасштабном масштабе и демонстрируют большой потенциал использования симуляционных данных в задачах реального мира. Видео и открытый исходный код доступны на https://robocasa.ai/

English

Recent advancements in Artificial Intelligence (AI) have largely been propelled by scaling. In Robotics, scaling is hindered by the lack of access to massive robot datasets. We advocate using realistic physical simulation as a means to scale environments, tasks, and datasets for robot learning methods. We present RoboCasa, a large-scale simulation framework for training generalist robots in everyday environments. RoboCasa features realistic and diverse scenes focusing on kitchen environments. We provide thousands of 3D assets across over 150 object categories and dozens of interactable furniture and appliances. We enrich the realism and diversity of our simulation with generative AI tools, such as object assets from text-to-3D models and environment textures from text-to-image models. We design a set of 100 tasks for systematic evaluation, including composite tasks generated by the guidance of large language models. To facilitate learning, we provide high-quality human demonstrations and integrate automated trajectory generation methods to substantially enlarge our datasets with minimal human burden. Our experiments show a clear scaling trend in using synthetically generated robot data for large-scale imitation learning and show great promise in harnessing simulation data in real-world tasks. Videos and open-source code are available at https://robocasa.ai/