AutoRT: Воплощенные базовые модели для масштабной координации роботизированных агентов

AutoRT: Embodied Foundation Models for Large Scale Orchestration of Robotic Agents

January 23, 2024

Авторы: Michael Ahn, Debidatta Dwibedi, Chelsea Finn, Montse Gonzalez Arenas, Keerthana Gopalakrishnan, Karol Hausman, Brian Ichter, Alex Irpan, Nikhil Joshi, Ryan Julian, Sean Kirmani, Isabel Leal, Edward Lee, Sergey Levine, Yao Lu, Isabel Leal, Sharath Maddineni, Kanishka Rao, Dorsa Sadigh, Pannag Sanketi, Pierre Sermanet, Quan Vuong, Stefan Welker, Fei Xia, Ted Xiao, Peng Xu, Steve Xu, Zhuo Xu

cs.AI

Аннотация

Фундаментальные модели, объединяющие язык, зрение и, в последнее время, действия, произвели революцию в способности использовать данные интернет-масштаба для решения полезных задач. Однако одной из ключевых проблем при обучении воплощенных фундаментальных моделей является недостаток данных, связанных с физическим миром. В данной статье мы предлагаем AutoRT — систему, которая использует существующие фундаментальные модели для масштабирования развертывания операционных роботов в совершенно новых сценариях с минимальным участием человека. AutoRT применяет модели, объединяющие зрение и язык (VLMs), для понимания и привязки к сцене, а также использует крупные языковые модели (LLMs) для предложения разнообразных и новых инструкций, которые должны выполнять группы роботов. Управление сбором данных с использованием знаний фундаментальных моделей позволяет AutoRT эффективно анализировать компромиссы автономности и безопасности, значительно масштабируя сбор данных для обучения роботов. Мы демонстрируем, как AutoRT предлагает инструкции более чем 20 роботам в нескольких зданиях и собирает 77 тысяч реальных эпизодов с использованием как телеуправления, так и автономных политик роботов. Экспериментально мы показываем, что такие данные, собранные AutoRT "в естественных условиях", значительно более разнообразны, а использование LLMs позволяет роботам, собирающим данные, следовать инструкциям, которые соответствуют предпочтениям человека.

English

Foundation models that incorporate language, vision, and more recently actions have revolutionized the ability to harness internet scale data to reason about useful tasks. However, one of the key challenges of training embodied foundation models is the lack of data grounded in the physical world. In this paper, we propose AutoRT, a system that leverages existing foundation models to scale up the deployment of operational robots in completely unseen scenarios with minimal human supervision. AutoRT leverages vision-language models (VLMs) for scene understanding and grounding, and further uses large language models (LLMs) for proposing diverse and novel instructions to be performed by a fleet of robots. Guiding data collection by tapping into the knowledge of foundation models enables AutoRT to effectively reason about autonomy tradeoffs and safety while significantly scaling up data collection for robot learning. We demonstrate AutoRT proposing instructions to over 20 robots across multiple buildings and collecting 77k real robot episodes via both teleoperation and autonomous robot policies. We experimentally show that such "in-the-wild" data collected by AutoRT is significantly more diverse, and that AutoRT's use of LLMs allows for instruction following data collection robots that can align to human preferences.