Roboter-Nutzenmodelle: Allgemeine Richtlinien für den Null-Schuss-Einsatz in neuen Umgebungen

Robot Utility Models: General Policies for Zero-Shot Deployment in New Environments

September 9, 2024

Autoren: Haritheja Etukuru, Norihito Naka, Zijin Hu, Seungjae Lee, Julian Mehu, Aaron Edsinger, Chris Paxton, Soumith Chintala, Lerrel Pinto, Nur Muhammad Mahi Shafiullah

cs.AI

Zusammenfassung

Robotermodelle, insbesondere solche, die mit großen Datenmengen trainiert wurden, haben kürzlich eine Vielzahl von Fähigkeiten zur Manipulation und Navigation in der realen Welt gezeigt. Mehrere unabhängige Bemühungen haben gezeigt, dass Roboterpolitiken bei ausreichender Trainingsdatenmenge in einer Umgebung auf gezeigte Variationen in dieser Umgebung verallgemeinern können. Die Notwendigkeit, Robotermodelle für jede neue Umgebung feinabzustimmen, steht jedoch im starken Kontrast zu Modellen in Sprache oder Vision, die ohne Anpassung für Open-World-Probleme eingesetzt werden können. In dieser Arbeit präsentieren wir Robot Utility Models (RUMs), ein Rahmenwerk für das Training und die Bereitstellung von Zero-Shot-Roboterpolitiken, die direkt auf neue Umgebungen verallgemeinern können, ohne jegliche Feinabstimmung. Um RUMs effizient zu erstellen, entwickeln wir neue Tools zum schnellen Sammeln von Daten für mobile Manipulationstätigkeiten, integrieren solche Daten in eine Politik mit multimodalem Imitationslernen und setzen Politiken geräteintern auf dem günstigen Handelsroboter Hello Robot Stretch ein, mit einem externen mLLM-Verifizierer für Wiederholungen. Wir trainieren fünf solcher Nutzmodelle für das Öffnen von Schranktüren, das Öffnen von Schubladen, das Aufnehmen von Servietten, das Aufnehmen von Papiertüten und das Neuorientieren von umgefallenen Objekten. Unser System erreicht im Durchschnitt eine Erfolgsrate von 90% in unbekannten, neuen Umgebungen, in denen mit unbekannten Objekten interagiert wird. Darüber hinaus können die Nutzmodelle auch in verschiedenen Roboter- und Kamerakonfigurationen ohne weitere Daten, Training oder Feinabstimmung erfolgreich sein. Zu den wichtigsten Erkenntnissen gehören die Bedeutung von Trainingsdaten gegenüber Trainingsalgorithmus und Politikklasse, Anleitungen zur Datenskalierung, die Notwendigkeit von vielfältigen, aber qualitativ hochwertigen Demonstrationen und ein Rezept für die Roboterintrospektion und Wiederholung zur Verbesserung der Leistung in einzelnen Umgebungen. Unser Code, unsere Daten, Modelle, Hardware-Designs sowie unsere Experiment- und Bereitstellungsvideos sind Open Source und können auf unserer Projektwebsite gefunden werden: https://robotutilitymodels.com

English

Robot models, particularly those trained with large amounts of data, have recently shown a plethora of real-world manipulation and navigation capabilities. Several independent efforts have shown that given sufficient training data in an environment, robot policies can generalize to demonstrated variations in that environment. However, needing to finetune robot models to every new environment stands in stark contrast to models in language or vision that can be deployed zero-shot for open-world problems. In this work, we present Robot Utility Models (RUMs), a framework for training and deploying zero-shot robot policies that can directly generalize to new environments without any finetuning. To create RUMs efficiently, we develop new tools to quickly collect data for mobile manipulation tasks, integrate such data into a policy with multi-modal imitation learning, and deploy policies on-device on Hello Robot Stretch, a cheap commodity robot, with an external mLLM verifier for retrying. We train five such utility models for opening cabinet doors, opening drawers, picking up napkins, picking up paper bags, and reorienting fallen objects. Our system, on average, achieves 90% success rate in unseen, novel environments interacting with unseen objects. Moreover, the utility models can also succeed in different robot and camera set-ups with no further data, training, or fine-tuning. Primary among our lessons are the importance of training data over training algorithm and policy class, guidance about data scaling, necessity for diverse yet high-quality demonstrations, and a recipe for robot introspection and retrying to improve performance on individual environments. Our code, data, models, hardware designs, as well as our experiment and deployment videos are open sourced and can be found on our project website: https://robotutilitymodels.com