AutoRT: Verkörperte Basismodelle für die großskalige Orchestrierung von Roboteragenten

AutoRT: Embodied Foundation Models for Large Scale Orchestration of Robotic Agents

January 23, 2024

Autoren: Michael Ahn, Debidatta Dwibedi, Chelsea Finn, Montse Gonzalez Arenas, Keerthana Gopalakrishnan, Karol Hausman, Brian Ichter, Alex Irpan, Nikhil Joshi, Ryan Julian, Sean Kirmani, Isabel Leal, Edward Lee, Sergey Levine, Yao Lu, Isabel Leal, Sharath Maddineni, Kanishka Rao, Dorsa Sadigh, Pannag Sanketi, Pierre Sermanet, Quan Vuong, Stefan Welker, Fei Xia, Ted Xiao, Peng Xu, Steve Xu, Zhuo Xu

cs.AI

Zusammenfassung

Foundation Models, die Sprache, Vision und in jüngster Zeit auch Aktionen integrieren, haben die Fähigkeit revolutioniert, internetgroße Datenmengen zu nutzen, um nützliche Aufgaben zu bewältigen. Eine der größten Herausforderungen beim Training verkörperter Foundation Models ist jedoch der Mangel an Daten, die in der physischen Welt verankert sind. In diesem Artikel stellen wir AutoRT vor, ein System, das bestehende Foundation Models nutzt, um den Einsatz von operativen Robotern in völlig unbekannten Szenarien mit minimaler menschlicher Aufsicht zu skalieren. AutoRT nutzt Vision-Language-Models (VLMs) zur Szenenverständnis und Verankerung und verwendet darüber hinaus Large Language Models (LLMs), um vielfältige und neuartige Anweisungen für eine Flotte von Robotern zu generieren. Die Steuerung der Datensammlung durch das Anzapfen des Wissens von Foundation Models ermöglicht es AutoRT, effektiv über Autonomieabwägungen und Sicherheit nachzudenken, während gleichzeitig die Datensammlung für das Robotik-Lernen erheblich skaliert wird. Wir demonstrieren, dass AutoRT Anweisungen für über 20 Roboter in mehreren Gebäuden vorschlägt und 77.000 reale Roboterepisoden sowohl durch Teleoperation als auch durch autonome Robotikrichtlinien sammelt. Experimentell zeigen wir, dass solche „in-the-wild“-Daten, die von AutoRT gesammelt werden, deutlich vielfältiger sind und dass die Nutzung von LLMs durch AutoRT die Datensammlung durch anweisungsfolgende Roboter ermöglicht, die sich an menschliche Präferenzen anpassen können.

English

Foundation models that incorporate language, vision, and more recently actions have revolutionized the ability to harness internet scale data to reason about useful tasks. However, one of the key challenges of training embodied foundation models is the lack of data grounded in the physical world. In this paper, we propose AutoRT, a system that leverages existing foundation models to scale up the deployment of operational robots in completely unseen scenarios with minimal human supervision. AutoRT leverages vision-language models (VLMs) for scene understanding and grounding, and further uses large language models (LLMs) for proposing diverse and novel instructions to be performed by a fleet of robots. Guiding data collection by tapping into the knowledge of foundation models enables AutoRT to effectively reason about autonomy tradeoffs and safety while significantly scaling up data collection for robot learning. We demonstrate AutoRT proposing instructions to over 20 robots across multiple buildings and collecting 77k real robot episodes via both teleoperation and autonomous robot policies. We experimentally show that such "in-the-wild" data collected by AutoRT is significantly more diverse, and that AutoRT's use of LLMs allows for instruction following data collection robots that can align to human preferences.