AutoRT：大規模ロボットエージェントのオーケストレーションのための具現化基盤モデル

AutoRT: Embodied Foundation Models for Large Scale Orchestration of Robotic Agents

January 23, 2024

著者: Michael Ahn, Debidatta Dwibedi, Chelsea Finn, Montse Gonzalez Arenas, Keerthana Gopalakrishnan, Karol Hausman, Brian Ichter, Alex Irpan, Nikhil Joshi, Ryan Julian, Sean Kirmani, Isabel Leal, Edward Lee, Sergey Levine, Yao Lu, Isabel Leal, Sharath Maddineni, Kanishka Rao, Dorsa Sadigh, Pannag Sanketi, Pierre Sermanet, Quan Vuong, Stefan Welker, Fei Xia, Ted Xiao, Peng Xu, Steve Xu, Zhuo Xu

cs.AI

要旨

言語、視覚、そして最近では動作を統合した基盤モデルは、インターネット規模のデータを活用して有用なタスクを推論する能力に革命をもたらしました。しかし、具現化された基盤モデルを訓練する際の主要な課題の一つは、物理世界に根ざしたデータの不足です。本論文では、AutoRTというシステムを提案します。AutoRTは、既存の基盤モデルを活用して、人間の監督を最小限に抑えながら、完全に未経験のシナリオでの運用ロボットの展開をスケールアップします。AutoRTは、視覚言語モデル（VLM）を活用してシーン理解と接地を行い、さらに大規模言語モデル（LLM）を使用して、ロボット群が実行する多様で新しい指示を提案します。基盤モデルの知識を活用してデータ収集を導くことで、AutoRTは自律性のトレードオフと安全性を効果的に推論しつつ、ロボット学習のためのデータ収集を大幅にスケールアップすることができます。AutoRTが複数の建物にわたる20台以上のロボットに指示を提案し、テレオペレーションと自律ロボットポリシーを通じて77,000の実ロボットエピソードを収集したことを実証します。実験的に、AutoRTによって収集された「実環境」データが大幅に多様であること、およびAutoRTがLLMを使用することで、人間の好みに沿った指示追従データ収集ロボットを可能にすることを示します。

English

Foundation models that incorporate language, vision, and more recently actions have revolutionized the ability to harness internet scale data to reason about useful tasks. However, one of the key challenges of training embodied foundation models is the lack of data grounded in the physical world. In this paper, we propose AutoRT, a system that leverages existing foundation models to scale up the deployment of operational robots in completely unseen scenarios with minimal human supervision. AutoRT leverages vision-language models (VLMs) for scene understanding and grounding, and further uses large language models (LLMs) for proposing diverse and novel instructions to be performed by a fleet of robots. Guiding data collection by tapping into the knowledge of foundation models enables AutoRT to effectively reason about autonomy tradeoffs and safety while significantly scaling up data collection for robot learning. We demonstrate AutoRT proposing instructions to over 20 robots across multiple buildings and collecting 77k real robot episodes via both teleoperation and autonomous robot policies. We experimentally show that such "in-the-wild" data collected by AutoRT is significantly more diverse, and that AutoRT's use of LLMs allows for instruction following data collection robots that can align to human preferences.