AutoRT: Modelos Fundacionales Embebidos para la Orquestación a Gran Escala de Agentes Robóticos

AutoRT: Embodied Foundation Models for Large Scale Orchestration of Robotic Agents

January 23, 2024

Autores: Michael Ahn, Debidatta Dwibedi, Chelsea Finn, Montse Gonzalez Arenas, Keerthana Gopalakrishnan, Karol Hausman, Brian Ichter, Alex Irpan, Nikhil Joshi, Ryan Julian, Sean Kirmani, Isabel Leal, Edward Lee, Sergey Levine, Yao Lu, Isabel Leal, Sharath Maddineni, Kanishka Rao, Dorsa Sadigh, Pannag Sanketi, Pierre Sermanet, Quan Vuong, Stefan Welker, Fei Xia, Ted Xiao, Peng Xu, Steve Xu, Zhuo Xu

cs.AI

Resumen

Los modelos fundacionales que incorporan lenguaje, visión y, más recientemente, acciones han revolucionado la capacidad de aprovechar datos a escala de internet para razonar sobre tareas útiles. Sin embargo, uno de los principales desafíos en el entrenamiento de modelos fundacionales encarnados es la falta de datos anclados en el mundo físico. En este artículo, proponemos AutoRT, un sistema que aprovecha los modelos fundacionales existentes para escalar el despliegue de robots operativos en escenarios completamente desconocidos con una supervisión humana mínima. AutoRT utiliza modelos de visión y lenguaje (VLMs) para la comprensión y contextualización de escenas, y además emplea modelos de lenguaje de gran escala (LLMs) para proponer instrucciones diversas y novedosas que serán ejecutadas por una flota de robots. Guiar la recolección de datos aprovechando el conocimiento de los modelos fundacionales permite a AutoRT razonar de manera efectiva sobre los compromisos de autonomía y seguridad, al mismo tiempo que escala significativamente la recolección de datos para el aprendizaje de robots. Demostramos que AutoRT propone instrucciones a más de 20 robots en múltiples edificios y recopila 77,000 episodios reales de robots mediante teleoperación y políticas autónomas de robots. Experimentalmente, mostramos que los datos "en el mundo real" recolectados por AutoRT son significativamente más diversos, y que el uso de LLMs por parte de AutoRT permite la recolección de datos mediante robots que siguen instrucciones y pueden alinearse con las preferencias humanas.

English

Foundation models that incorporate language, vision, and more recently actions have revolutionized the ability to harness internet scale data to reason about useful tasks. However, one of the key challenges of training embodied foundation models is the lack of data grounded in the physical world. In this paper, we propose AutoRT, a system that leverages existing foundation models to scale up the deployment of operational robots in completely unseen scenarios with minimal human supervision. AutoRT leverages vision-language models (VLMs) for scene understanding and grounding, and further uses large language models (LLMs) for proposing diverse and novel instructions to be performed by a fleet of robots. Guiding data collection by tapping into the knowledge of foundation models enables AutoRT to effectively reason about autonomy tradeoffs and safety while significantly scaling up data collection for robot learning. We demonstrate AutoRT proposing instructions to over 20 robots across multiple buildings and collecting 77k real robot episodes via both teleoperation and autonomous robot policies. We experimentally show that such "in-the-wild" data collected by AutoRT is significantly more diverse, and that AutoRT's use of LLMs allows for instruction following data collection robots that can align to human preferences.