RoboCasa：汎用ロボットのための日常タスク大規模シミュレーション

RoboCasa: Large-Scale Simulation of Everyday Tasks for Generalist Robots

June 4, 2024

著者: Soroush Nasiriany, Abhiram Maddukuri, Lance Zhang, Adeet Parikh, Aaron Lo, Abhishek Joshi, Ajay Mandlekar, Yuke Zhu

cs.AI

要旨

人工知能（AI）の最近の進歩は、主にスケーリングによって推進されてきました。ロボティクスにおいては、大規模なロボットデータセットへのアクセスが不足しているため、スケーリングが妨げられています。私たちは、ロボット学習手法のための環境、タスク、データセットをスケールアップする手段として、現実的な物理シミュレーションの利用を提唱します。本論文では、日常環境における汎用ロボットのトレーニングのための大規模シミュレーションフレームワーク「RoboCasa」を紹介します。RoboCasaは、キッチン環境に焦点を当てた現実的で多様なシーンを特徴としています。150以上のオブジェクトカテゴリーと数十の操作可能な家具や家電にわたる数千の3Dアセットを提供します。テキストから3Dモデルを生成する技術やテキストから画像を生成するモデルなどの生成AIツールを活用し、シミュレーションの現実感と多様性を高めています。大規模言語モデルのガイダンスによって生成された複合タスクを含む、100のタスクを体系的に評価するためのセットを設計しました。学習を促進するために、高品質な人間のデモンストレーションを提供し、自動軌道生成手法を統合することで、人間の負担を最小限に抑えつつデータセットを大幅に拡張します。私たちの実験は、合成生成されたロボットデータを大規模な模倣学習に使用する際の明確なスケーリングの傾向を示し、シミュレーションデータを現実世界のタスクに活用する大きな可能性を示しています。動画とオープンソースコードはhttps://robocasa.ai/で公開されています。

English

Recent advancements in Artificial Intelligence (AI) have largely been propelled by scaling. In Robotics, scaling is hindered by the lack of access to massive robot datasets. We advocate using realistic physical simulation as a means to scale environments, tasks, and datasets for robot learning methods. We present RoboCasa, a large-scale simulation framework for training generalist robots in everyday environments. RoboCasa features realistic and diverse scenes focusing on kitchen environments. We provide thousands of 3D assets across over 150 object categories and dozens of interactable furniture and appliances. We enrich the realism and diversity of our simulation with generative AI tools, such as object assets from text-to-3D models and environment textures from text-to-image models. We design a set of 100 tasks for systematic evaluation, including composite tasks generated by the guidance of large language models. To facilitate learning, we provide high-quality human demonstrations and integrate automated trajectory generation methods to substantially enlarge our datasets with minimal human burden. Our experiments show a clear scaling trend in using synthetically generated robot data for large-scale imitation learning and show great promise in harnessing simulation data in real-world tasks. Videos and open-source code are available at https://robocasa.ai/