Robotica Hulpprogramma Modellen: Algemene Richtlijnen voor Nul-Schot Implementatie in Nieuwe Omgevingen

Robot Utility Models: General Policies for Zero-Shot Deployment in New Environments

September 9, 2024

Auteurs: Haritheja Etukuru, Norihito Naka, Zijin Hu, Seungjae Lee, Julian Mehu, Aaron Edsinger, Chris Paxton, Soumith Chintala, Lerrel Pinto, Nur Muhammad Mahi Shafiullah

cs.AI

Samenvatting

Robotmodellen, met name die getraind zijn met grote hoeveelheden data, hebben onlangs een overvloed aan manipulatie- en navigatiemogelijkheden in de echte wereld laten zien. Verschillende onafhankelijke inspanningen hebben aangetoond dat robotbeleid, mits voldoende trainingsdata in een omgeving aanwezig zijn, kunnen generaliseren naar aangetoonde variaties in die omgeving. Echter, de noodzaak om robotmodellen te finetunen voor elke nieuwe omgeving staat in schril contrast met modellen in taal of visie die zero-shot ingezet kunnen worden voor open-wereld problemen. In dit werk presenteren we Robot Utility Modellen (RUMs), een raamwerk voor het trainen en inzetten van zero-shot robotbeleid dat direct kan generaliseren naar nieuwe omgevingen zonder enige finetuning. Om RUMs efficiënt te creëren, ontwikkelen we nieuwe tools om snel data te verzamelen voor mobiele manipulatietaken, dergelijke data te integreren in een beleid met multi-modale imitatieleren, en beleidsregels on-device in te zetten op de Hello Robot Stretch, een goedkope commodity robot, met een externe mLLM-verifier voor herhaling. We trainen vijf van zulke nuttigheidsmodellen voor het openen van kastdeuren, het openen van laden, het oppakken van servetten, het oppakken van papieren zakken, en het heroriënteren van gevallen objecten. Ons systeem behaalt gemiddeld een succespercentage van 90% in ongeziene, nieuwe omgevingen bij interactie met ongeziene objecten. Bovendien kunnen de nuttigheidsmodellen ook slagen in verschillende robot- en cameraset-ups zonder verdere data, training of finetuning. Belangrijkste lessen zijn onder meer het belang van trainingsdata boven trainingsalgoritme en beleidsklasse, richtlijnen over dataschaling, de noodzaak van diverse maar hoogwaardige demonstraties, en een recept voor robotintrospectie en herhaling om de prestaties in individuele omgevingen te verbeteren. Onze code, data, modellen, hardwareontwerpen, evenals onze experiment- en inzetvideo's zijn open source en kunnen worden gevonden op onze projectwebsite: https://robotutilitymodels.com

English

Robot models, particularly those trained with large amounts of data, have recently shown a plethora of real-world manipulation and navigation capabilities. Several independent efforts have shown that given sufficient training data in an environment, robot policies can generalize to demonstrated variations in that environment. However, needing to finetune robot models to every new environment stands in stark contrast to models in language or vision that can be deployed zero-shot for open-world problems. In this work, we present Robot Utility Models (RUMs), a framework for training and deploying zero-shot robot policies that can directly generalize to new environments without any finetuning. To create RUMs efficiently, we develop new tools to quickly collect data for mobile manipulation tasks, integrate such data into a policy with multi-modal imitation learning, and deploy policies on-device on Hello Robot Stretch, a cheap commodity robot, with an external mLLM verifier for retrying. We train five such utility models for opening cabinet doors, opening drawers, picking up napkins, picking up paper bags, and reorienting fallen objects. Our system, on average, achieves 90% success rate in unseen, novel environments interacting with unseen objects. Moreover, the utility models can also succeed in different robot and camera set-ups with no further data, training, or fine-tuning. Primary among our lessons are the importance of training data over training algorithm and policy class, guidance about data scaling, necessity for diverse yet high-quality demonstrations, and a recipe for robot introspection and retrying to improve performance on individual environments. Our code, data, models, hardware designs, as well as our experiment and deployment videos are open sourced and can be found on our project website: https://robotutilitymodels.com