Octo: Eine Open-Source-Politik für einen Generalisten-Roboter

Octo: An Open-Source Generalist Robot Policy

May 20, 2024

Autoren: Octo Model Team, Dibya Ghosh, Homer Walke, Karl Pertsch, Kevin Black, Oier Mees, Sudeep Dasari, Joey Hejna, Tobias Kreiman, Charles Xu, Jianlan Luo, You Liang Tan, Pannag Sanketi, Quan Vuong, Ted Xiao, Dorsa Sadigh, Chelsea Finn, Sergey Levine

cs.AI

Zusammenfassung

Große Richtlinien, die auf vielfältigen Roboterdatensätzen vortrainiert sind, haben das Potenzial, das robotische Lernen zu transformieren: Anstatt neue Richtlinien von Grund auf zu trainieren, können solche Generalisten-Roboter-Richtlinien mit nur wenigen in-domain Daten feinabgestimmt werden und dennoch breit generalisieren. Um jedoch in einer Vielzahl von robotischen Lernszenarien, Umgebungen und Aufgaben weit verbreitet anwendbar zu sein, müssen solche Richtlinien mit verschiedenen Sensoren und Aktionsräumen umgehen können, eine Vielzahl von häufig verwendeten Roboterplattformen berücksichtigen und sich leicht und effizient an neue Domänen anpassen lassen. In dieser Arbeit zielen wir darauf ab, die Grundlage für die Entwicklung von Open-Source, weit verbreiteten, generalistischen Richtlinien für die robotische Manipulation zu schaffen. Als ersten Schritt stellen wir Octo vor, eine große auf Transformer basierende Richtlinie, die auf 800.000 Trajektorien aus dem Open X-Embodiment-Datensatz trainiert wurde, dem bisher größten Roboter-Manipulationsdatensatz. Sie kann über Sprachbefehle oder Zielbilder instruiert werden und kann effektiv an Roboter-Setups mit neuen sensorischen Eingaben und Aktionsräumen innerhalb weniger Stunden auf handelsüblichen Verbraucher-GPUs feinabgestimmt werden. In Experimenten auf 9 Roboterplattformen zeigen wir, dass Octo als vielseitige Richtlinieninitialisierung dient, die effektiv an neue Beobachtungs- und Aktionsräume angepasst werden kann. Wir führen auch detaillierte Ablationen von Designentscheidungen für das Octo-Modell durch, von der Architektur bis zu den Trainingsdaten, um zukünftige Forschung zur Entwicklung von generalistischen Robotermodellen zu leiten.

English

Large policies pretrained on diverse robot datasets have the potential to transform robotic learning: instead of training new policies from scratch, such generalist robot policies may be finetuned with only a little in-domain data, yet generalize broadly. However, to be widely applicable across a range of robotic learning scenarios, environments, and tasks, such policies need to handle diverse sensors and action spaces, accommodate a variety of commonly used robotic platforms, and finetune readily and efficiently to new domains. In this work, we aim to lay the groundwork for developing open-source, widely applicable, generalist policies for robotic manipulation. As a first step, we introduce Octo, a large transformer-based policy trained on 800k trajectories from the Open X-Embodiment dataset, the largest robot manipulation dataset to date. It can be instructed via language commands or goal images and can be effectively finetuned to robot setups with new sensory inputs and action spaces within a few hours on standard consumer GPUs. In experiments across 9 robotic platforms, we demonstrate that Octo serves as a versatile policy initialization that can be effectively finetuned to new observation and action spaces. We also perform detailed ablations of design decisions for the Octo model, from architecture to training data, to guide future research on building generalist robot models.