Окто: Политика робота-универсала с открытым исходным кодом

Octo: An Open-Source Generalist Robot Policy

May 20, 2024

Авторы: Octo Model Team, Dibya Ghosh, Homer Walke, Karl Pertsch, Kevin Black, Oier Mees, Sudeep Dasari, Joey Hejna, Tobias Kreiman, Charles Xu, Jianlan Luo, You Liang Tan, Pannag Sanketi, Quan Vuong, Ted Xiao, Dorsa Sadigh, Chelsea Finn, Sergey Levine

cs.AI

Аннотация

Большие заранее обученные политики на разнообразных наборах данных роботов имеют потенциал трансформировать обучение роботов: вместо обучения новых политик с нуля, такие общие политики роботов могут быть дообучены с минимальным количеством данных в предметной области, при этом обладая широкой обобщающей способностью. Однако для широкого применения в различных сценариях обучения роботов, средах и задачах, такие политики должны обрабатывать разнообразные сенсоры и пространства действий, адаптироваться к различным распространенным робототехническим платформам и легко и эффективно дообучаться в новых областях. В данной работе мы стремимся заложить основы для разработки открытых, широко применимых, общих политик для робототехнического манипулирования. В качестве первого шага мы представляем Octo, большую политику на основе трансформера, обученную на 800 тыс. траекториях из набора данных Open X-Embodiment, крупнейшего на сегодняшний день набора данных по манипулированию роботов. Она может быть инструктирована с помощью языковых команд или целевых изображений и может быть эффективно дообучена к настройкам робота с новыми сенсорными входами и пространствами действий в течение нескольких часов на стандартных потребительских GPU. В экспериментах на 9 робототехнических платформах мы демонстрируем, что Octo служит в качестве универсальной инициализации политики, которую можно эффективно дообучить к новым пространствам наблюдений и действий. Мы также проводим детальные абляции дизайнерских решений для модели Octo, от архитектуры до обучающих данных, чтобы направить будущие исследования по созданию общих моделей роботов.

English

Large policies pretrained on diverse robot datasets have the potential to transform robotic learning: instead of training new policies from scratch, such generalist robot policies may be finetuned with only a little in-domain data, yet generalize broadly. However, to be widely applicable across a range of robotic learning scenarios, environments, and tasks, such policies need to handle diverse sensors and action spaces, accommodate a variety of commonly used robotic platforms, and finetune readily and efficiently to new domains. In this work, we aim to lay the groundwork for developing open-source, widely applicable, generalist policies for robotic manipulation. As a first step, we introduce Octo, a large transformer-based policy trained on 800k trajectories from the Open X-Embodiment dataset, the largest robot manipulation dataset to date. It can be instructed via language commands or goal images and can be effectively finetuned to robot setups with new sensory inputs and action spaces within a few hours on standard consumer GPUs. In experiments across 9 robotic platforms, we demonstrate that Octo serves as a versatile policy initialization that can be effectively finetuned to new observation and action spaces. We also perform detailed ablations of design decisions for the Octo model, from architecture to training data, to guide future research on building generalist robot models.