Modelli di Utilità dei Robot: Linee Guida Generali per il Rilascio a Zero Shot in Nuovi Ambienti

Robot Utility Models: General Policies for Zero-Shot Deployment in New Environments

September 9, 2024

Autori: Haritheja Etukuru, Norihito Naka, Zijin Hu, Seungjae Lee, Julian Mehu, Aaron Edsinger, Chris Paxton, Soumith Chintala, Lerrel Pinto, Nur Muhammad Mahi Shafiullah

cs.AI

Abstract

I modelli di robot, in particolare quelli addestrati con grandi quantità di dati, hanno recentemente mostrato una moltitudine di capacità di manipolazione e navigazione nel mondo reale. Diversi sforzi indipendenti hanno dimostrato che, data una quantità sufficiente di dati di addestramento in un ambiente, le politiche dei robot possono generalizzare alle variazioni dimostrate in quell'ambiente. Tuttavia, la necessità di ottimizzare i modelli dei robot per ogni nuovo ambiente è in netto contrasto con i modelli nel linguaggio o nella visione che possono essere implementati senza addestramento per problemi di mondo aperto. In questo lavoro, presentiamo i Modelli di Utilità del Robot (RUMs), un framework per addestrare e implementare politiche di robot senza addestramento che possono generalizzare direttamente a nuovi ambienti senza alcuna ottimizzazione. Per creare efficientemente i RUMs, sviluppiamo nuovi strumenti per raccogliere rapidamente dati per compiti di manipolazione mobile, integrare tali dati in una politica con apprendimento per imitazione multimodale e implementare politiche su dispositivo su Hello Robot Stretch, un robot di mercato economico, con un verificatore mLLM esterno per i tentativi ripetuti. Addestriamo cinque modelli di utilità per aprire ante di armadi, aprire cassetti, raccogliere tovaglioli, raccogliere sacchetti di carta e riorientare oggetti caduti. Il nostro sistema, in media, raggiunge un tasso di successo del 90% in ambienti non visti, interagendo con oggetti non visti. Inoltre, i modelli di utilità possono avere successo anche in diverse configurazioni di robot e telecamere senza ulteriori dati, addestramento o ottimizzazione. Tra le nostre principali lezioni ci sono l'importanza dei dati di addestramento rispetto all'algoritmo di addestramento e alla classe di politica, linee guida sulla scalabilità dei dati, la necessità di dimostrazioni diverse ma di alta qualità e una ricetta per l'ispezione del robot e i tentativi ripetuti per migliorare le prestazioni su singoli ambienti. Il nostro codice, dati, modelli, progetti hardware, nonché i video sperimentali e di implementazione sono open source e possono essere trovati sul nostro sito web del progetto: https://robotutilitymodels.com

English

Robot models, particularly those trained with large amounts of data, have recently shown a plethora of real-world manipulation and navigation capabilities. Several independent efforts have shown that given sufficient training data in an environment, robot policies can generalize to demonstrated variations in that environment. However, needing to finetune robot models to every new environment stands in stark contrast to models in language or vision that can be deployed zero-shot for open-world problems. In this work, we present Robot Utility Models (RUMs), a framework for training and deploying zero-shot robot policies that can directly generalize to new environments without any finetuning. To create RUMs efficiently, we develop new tools to quickly collect data for mobile manipulation tasks, integrate such data into a policy with multi-modal imitation learning, and deploy policies on-device on Hello Robot Stretch, a cheap commodity robot, with an external mLLM verifier for retrying. We train five such utility models for opening cabinet doors, opening drawers, picking up napkins, picking up paper bags, and reorienting fallen objects. Our system, on average, achieves 90% success rate in unseen, novel environments interacting with unseen objects. Moreover, the utility models can also succeed in different robot and camera set-ups with no further data, training, or fine-tuning. Primary among our lessons are the importance of training data over training algorithm and policy class, guidance about data scaling, necessity for diverse yet high-quality demonstrations, and a recipe for robot introspection and retrying to improve performance on individual environments. Our code, data, models, hardware designs, as well as our experiment and deployment videos are open sourced and can be found on our project website: https://robotutilitymodels.com