Octo：オープンソースの汎用ロボットポリシー

Octo: An Open-Source Generalist Robot Policy

May 20, 2024

著者: Octo Model Team, Dibya Ghosh, Homer Walke, Karl Pertsch, Kevin Black, Oier Mees, Sudeep Dasari, Joey Hejna, Tobias Kreiman, Charles Xu, Jianlan Luo, You Liang Tan, Pannag Sanketi, Quan Vuong, Ted Xiao, Dorsa Sadigh, Chelsea Finn, Sergey Levine

cs.AI

要旨

多様なロボットデータセットで事前学習された大規模なポリシーは、ロボット学習を変革する可能性を秘めています。ゼロから新しいポリシーを訓練する代わりに、このような汎用的なロボットポリシーは、わずかなドメイン内データでファインチューニングするだけで、広範に一般化することができます。しかし、さまざまなロボット学習シナリオ、環境、タスクに広く適用するためには、このようなポリシーは多様なセンサーとアクション空間を扱い、一般的に使用されるさまざまなロボットプラットフォームに対応し、新しいドメインに迅速かつ効率的にファインチューニングできる必要があります。本研究では、オープンソースで広く適用可能な汎用的なロボット操作ポリシーの開発の基盤を築くことを目指しています。最初のステップとして、Open X-Embodimentデータセット（これまでで最大のロボット操作データセット）の80万の軌跡で訓練された、大規模なトランスフォーマーベースのポリシーであるOctoを紹介します。Octoは言語コマンドや目標画像で指示することができ、新しいセンサー入力やアクション空間を持つロボットセットアップに、標準的な消費者向けGPUで数時間以内に効果的にファインチューニングできます。9つのロボットプラットフォームにわたる実験で、Octoが新しい観測空間とアクション空間に効果的にファインチューニングできる汎用的なポリシー初期化として機能することを実証しました。また、Octoモデルの設計決定について、アーキテクチャから訓練データまで詳細なアブレーションを行い、汎用的なロボットモデルを構築するための将来の研究を導くための指針を提供します。

English

Large policies pretrained on diverse robot datasets have the potential to transform robotic learning: instead of training new policies from scratch, such generalist robot policies may be finetuned with only a little in-domain data, yet generalize broadly. However, to be widely applicable across a range of robotic learning scenarios, environments, and tasks, such policies need to handle diverse sensors and action spaces, accommodate a variety of commonly used robotic platforms, and finetune readily and efficiently to new domains. In this work, we aim to lay the groundwork for developing open-source, widely applicable, generalist policies for robotic manipulation. As a first step, we introduce Octo, a large transformer-based policy trained on 800k trajectories from the Open X-Embodiment dataset, the largest robot manipulation dataset to date. It can be instructed via language commands or goal images and can be effectively finetuned to robot setups with new sensory inputs and action spaces within a few hours on standard consumer GPUs. In experiments across 9 robotic platforms, we demonstrate that Octo serves as a versatile policy initialization that can be effectively finetuned to new observation and action spaces. We also perform detailed ablations of design decisions for the Octo model, from architecture to training data, to guide future research on building generalist robot models.