Octo: Una Política Robótica Generalista de Código Abierto

Octo: An Open-Source Generalist Robot Policy

May 20, 2024

Autores: Octo Model Team, Dibya Ghosh, Homer Walke, Karl Pertsch, Kevin Black, Oier Mees, Sudeep Dasari, Joey Hejna, Tobias Kreiman, Charles Xu, Jianlan Luo, You Liang Tan, Pannag Sanketi, Quan Vuong, Ted Xiao, Dorsa Sadigh, Chelsea Finn, Sergey Levine

cs.AI

Resumen

Las políticas de gran escala preentrenadas en diversos conjuntos de datos robóticos tienen el potencial de transformar el aprendizaje robótico: en lugar de entrenar nuevas políticas desde cero, estas políticas generalistas para robots pueden ajustarse con solo un poco de datos específicos del dominio, y aún así generalizar ampliamente. Sin embargo, para ser ampliamente aplicables en una variedad de escenarios, entornos y tareas de aprendizaje robótico, estas políticas deben manejar sensores y espacios de acción diversos, adaptarse a una variedad de plataformas robóticas comúnmente utilizadas, y ajustarse de manera rápida y eficiente a nuevos dominios. En este trabajo, nuestro objetivo es sentar las bases para desarrollar políticas generalistas de código abierto y ampliamente aplicables para la manipulación robótica. Como primer paso, presentamos Octo, una política basada en transformadores de gran escala entrenada en 800,000 trayectorias del conjunto de datos Open X-Embodiment, el mayor conjunto de datos de manipulación robótica hasta la fecha. Puede recibir instrucciones mediante comandos de lenguaje o imágenes objetivo, y puede ajustarse eficazmente a configuraciones robóticas con nuevas entradas sensoriales y espacios de acción en unas pocas horas utilizando GPUs de consumo estándar. En experimentos realizados en 9 plataformas robóticas, demostramos que Octo sirve como una inicialización de política versátil que puede ajustarse eficazmente a nuevos espacios de observación y acción. También realizamos ablaciones detalladas de las decisiones de diseño para el modelo Octo, desde la arquitectura hasta los datos de entrenamiento, para guiar futuras investigaciones en la construcción de modelos robóticos generalistas.

English

Large policies pretrained on diverse robot datasets have the potential to transform robotic learning: instead of training new policies from scratch, such generalist robot policies may be finetuned with only a little in-domain data, yet generalize broadly. However, to be widely applicable across a range of robotic learning scenarios, environments, and tasks, such policies need to handle diverse sensors and action spaces, accommodate a variety of commonly used robotic platforms, and finetune readily and efficiently to new domains. In this work, we aim to lay the groundwork for developing open-source, widely applicable, generalist policies for robotic manipulation. As a first step, we introduce Octo, a large transformer-based policy trained on 800k trajectories from the Open X-Embodiment dataset, the largest robot manipulation dataset to date. It can be instructed via language commands or goal images and can be effectively finetuned to robot setups with new sensory inputs and action spaces within a few hours on standard consumer GPUs. In experiments across 9 robotic platforms, we demonstrate that Octo serves as a versatile policy initialization that can be effectively finetuned to new observation and action spaces. We also perform detailed ablations of design decisions for the Octo model, from architecture to training data, to guide future research on building generalist robot models.