로보카사: 범용 로봇을 위한 일상 작업의 대규모 시뮬레이션

RoboCasa: Large-Scale Simulation of Everyday Tasks for Generalist Robots

June 4, 2024

저자: Soroush Nasiriany, Abhiram Maddukuri, Lance Zhang, Adeet Parikh, Aaron Lo, Abhishek Joshi, Ajay Mandlekar, Yuke Zhu

cs.AI

초록

최근 인공지능(AI)의 발전은 주로 규모 확장에 의해 추진되어 왔습니다. 로보틱스 분야에서는 대규모 로봇 데이터셋에 대한 접근성 부족으로 인해 이러한 확장이 제한되고 있습니다. 우리는 로봇 학습 방법을 위한 환경, 작업, 데이터셋의 규모를 확장하는 수단으로 현실적인 물리 시뮬레이션의 사용을 제안합니다. 본 논문에서는 일상 환경에서 범용 로봇을 훈련시키기 위한 대규모 시뮬레이션 프레임워크인 RoboCasa를 소개합니다. RoboCasa는 주방 환경에 초점을 맞춘 현실적이고 다양한 장면을 제공합니다. 우리는 150개 이상의 객체 카테고리와 수십 개의 상호작용 가능한 가구 및 가전제품에 걸쳐 수천 개의 3D 자산을 제공합니다. 텍스트-3D 모델에서 생성된 객체 자산과 텍스트-이미지 모델에서 생성된 환경 텍스처와 같은 생성형 AI 도구를 사용하여 시뮬레이션의 현실감과 다양성을 높였습니다. 체계적인 평가를 위해 대형 언어 모델의 지도를 통해 생성된 복합 작업을 포함한 100개의 작업 세트를 설계했습니다. 학습을 촉진하기 위해 고품질의 인간 시연을 제공하고, 인간의 부담을 최소화하면서 데이터셋을 크게 확장할 수 있는 자동화된 궤적 생성 방법을 통합했습니다. 우리의 실험은 대규모 모방 학습을 위해 합성된 로봇 데이터를 사용할 때 명확한 규모 확장 경향을 보여주며, 실제 작업에서 시뮬레이션 데이터를 활용하는 데 큰 가능성을 보여줍니다. 비디오와 오픈소스 코드는 https://robocasa.ai/에서 확인할 수 있습니다.

English

Recent advancements in Artificial Intelligence (AI) have largely been propelled by scaling. In Robotics, scaling is hindered by the lack of access to massive robot datasets. We advocate using realistic physical simulation as a means to scale environments, tasks, and datasets for robot learning methods. We present RoboCasa, a large-scale simulation framework for training generalist robots in everyday environments. RoboCasa features realistic and diverse scenes focusing on kitchen environments. We provide thousands of 3D assets across over 150 object categories and dozens of interactable furniture and appliances. We enrich the realism and diversity of our simulation with generative AI tools, such as object assets from text-to-3D models and environment textures from text-to-image models. We design a set of 100 tasks for systematic evaluation, including composite tasks generated by the guidance of large language models. To facilitate learning, we provide high-quality human demonstrations and integrate automated trajectory generation methods to substantially enlarge our datasets with minimal human burden. Our experiments show a clear scaling trend in using synthetically generated robot data for large-scale imitation learning and show great promise in harnessing simulation data in real-world tasks. Videos and open-source code are available at https://robocasa.ai/