RoboCasa: Grootschalige simulatie van alledaagse taken voor generalistische robots

RoboCasa: Large-Scale Simulation of Everyday Tasks for Generalist Robots

June 4, 2024

Auteurs: Soroush Nasiriany, Abhiram Maddukuri, Lance Zhang, Adeet Parikh, Aaron Lo, Abhishek Joshi, Ajay Mandlekar, Yuke Zhu

cs.AI

Samenvatting

Recente vooruitgang in Kunstmatige Intelligentie (AI) is grotendeels aangedreven door schaalvergroting. In de robotica wordt schaalvergroting belemmerd door het gebrek aan toegang tot enorme robotdatasets. Wij pleiten voor het gebruik van realistische fysieke simulatie als middel om omgevingen, taken en datasets voor robotleermethoden op te schalen. Wij presenteren RoboCasa, een grootschalig simulatiekader voor het trainen van generalistische robots in alledaagse omgevingen. RoboCasa beschikt over realistische en diverse scènes met een focus op keukenomgevingen. Wij bieden duizenden 3D-assets in meer dan 150 objectcategorieën en tientallen interactieve meubels en apparaten. Wij verrijken de realiteit en diversiteit van onze simulatie met generatieve AI-tools, zoals objectassets van tekst-naar-3D-modellen en omgevingstexturen van tekst-naar-beeldmodellen. Wij ontwerpen een set van 100 taken voor systematische evaluatie, inclusief samengestelde taken gegenereerd met behulp van grote taalmodellen. Om het leren te vergemakkelijken, bieden wij hoogwaardige menselijke demonstraties en integreren wij geautomatiseerde trajectgeneratiemethoden om onze datasets aanzienlijk uit te breiden met minimale menselijke inspanning. Onze experimenten tonen een duidelijke schaalvergrotingstrend in het gebruik van synthetisch gegenereerde robotdata voor grootschalige imitatieleren en laten veelbelovende resultaten zien in het benutten van simulatiegegevens voor taken in de echte wereld. Video's en open-source code zijn beschikbaar op https://robocasa.ai/.

English

Recent advancements in Artificial Intelligence (AI) have largely been propelled by scaling. In Robotics, scaling is hindered by the lack of access to massive robot datasets. We advocate using realistic physical simulation as a means to scale environments, tasks, and datasets for robot learning methods. We present RoboCasa, a large-scale simulation framework for training generalist robots in everyday environments. RoboCasa features realistic and diverse scenes focusing on kitchen environments. We provide thousands of 3D assets across over 150 object categories and dozens of interactable furniture and appliances. We enrich the realism and diversity of our simulation with generative AI tools, such as object assets from text-to-3D models and environment textures from text-to-image models. We design a set of 100 tasks for systematic evaluation, including composite tasks generated by the guidance of large language models. To facilitate learning, we provide high-quality human demonstrations and integrate automated trajectory generation methods to substantially enlarge our datasets with minimal human burden. Our experiments show a clear scaling trend in using synthetically generated robot data for large-scale imitation learning and show great promise in harnessing simulation data in real-world tasks. Videos and open-source code are available at https://robocasa.ai/