AutoRT: Belichaamde Fundamentmodellen voor Grootschalige Orkestratie van Robotische Agents

AutoRT: Embodied Foundation Models for Large Scale Orchestration of Robotic Agents

January 23, 2024

Auteurs: Michael Ahn, Debidatta Dwibedi, Chelsea Finn, Montse Gonzalez Arenas, Keerthana Gopalakrishnan, Karol Hausman, Brian Ichter, Alex Irpan, Nikhil Joshi, Ryan Julian, Sean Kirmani, Isabel Leal, Edward Lee, Sergey Levine, Yao Lu, Isabel Leal, Sharath Maddineni, Kanishka Rao, Dorsa Sadigh, Pannag Sanketi, Pierre Sermanet, Quan Vuong, Stefan Welker, Fei Xia, Ted Xiao, Peng Xu, Steve Xu, Zhuo Xu

cs.AI

Samenvatting

Foundation models die taal, visie en recentelijk ook acties omvatten, hebben een revolutie teweeggebracht in het vermogen om data op internetschaal te benutten voor het redeneren over nuttige taken. Een van de belangrijkste uitdagingen bij het trainen van embodied foundation models is echter het gebrek aan data die verankerd is in de fysieke wereld. In dit artikel stellen we AutoRT voor, een systeem dat bestaande foundation models benut om de inzet van operationele robots in volledig onbekende scenario's op te schalen met minimale menselijke supervisie. AutoRT maakt gebruik van vision-language models (VLMs) voor scènebegrip en -verankering, en gebruikt verder large language models (LLMs) om diverse en nieuwe instructies voor te stellen die uitgevoerd kunnen worden door een vloot van robots. Door dataverzameling te sturen via de kennis van foundation models, stelt AutoRT zich in staat om effectief te redeneren over autonomie-afwegingen en veiligheid, terwijl het dataverzameling voor robotleren aanzienlijk opschaalt. We demonstreren hoe AutoRT instructies voorstelt aan meer dan 20 robots in meerdere gebouwen en 77k echte robotepisodes verzamelt via zowel teleoperatie als autonome robotbeleidsvoeringen. We tonen experimenteel aan dat dergelijke "in-the-wild" data die door AutoRT wordt verzameld aanzienlijk diverser is, en dat het gebruik van LLMs door AutoRT het mogelijk maakt om dataverzamelingsrobots voor instructievolging te creëren die afgestemd zijn op menselijke voorkeuren.

English

Foundation models that incorporate language, vision, and more recently actions have revolutionized the ability to harness internet scale data to reason about useful tasks. However, one of the key challenges of training embodied foundation models is the lack of data grounded in the physical world. In this paper, we propose AutoRT, a system that leverages existing foundation models to scale up the deployment of operational robots in completely unseen scenarios with minimal human supervision. AutoRT leverages vision-language models (VLMs) for scene understanding and grounding, and further uses large language models (LLMs) for proposing diverse and novel instructions to be performed by a fleet of robots. Guiding data collection by tapping into the knowledge of foundation models enables AutoRT to effectively reason about autonomy tradeoffs and safety while significantly scaling up data collection for robot learning. We demonstrate AutoRT proposing instructions to over 20 robots across multiple buildings and collecting 77k real robot episodes via both teleoperation and autonomous robot policies. We experimentally show that such "in-the-wild" data collected by AutoRT is significantly more diverse, and that AutoRT's use of LLMs allows for instruction following data collection robots that can align to human preferences.