Octo: Uma Política de Robô Generalista de Código Aberto

Octo: An Open-Source Generalist Robot Policy

May 20, 2024

Autores: Octo Model Team, Dibya Ghosh, Homer Walke, Karl Pertsch, Kevin Black, Oier Mees, Sudeep Dasari, Joey Hejna, Tobias Kreiman, Charles Xu, Jianlan Luo, You Liang Tan, Pannag Sanketi, Quan Vuong, Ted Xiao, Dorsa Sadigh, Chelsea Finn, Sergey Levine

cs.AI

Resumo

Políticas de grande escala pré-treinadas em conjuntos de dados diversos de robótica têm o potencial de transformar o aprendizado robótico: em vez de treinar novas políticas do zero, tais políticas generalistas de robótica podem ser ajustadas com apenas um pouco de dados específicos do domínio, ainda assim generalizando amplamente. No entanto, para serem amplamente aplicáveis em uma variedade de cenários, ambientes e tarefas de aprendizado robótico, essas políticas precisam lidar com sensores e espaços de ação diversos, acomodar uma variedade de plataformas robóticas comumente utilizadas e ajustar-se de forma rápida e eficiente a novos domínios. Neste trabalho, nosso objetivo é estabelecer as bases para o desenvolvimento de políticas generalistas de código aberto e amplamente aplicáveis para manipulação robótica. Como primeiro passo, apresentamos o Octo, uma política baseada em transformadores de grande escala, treinada em 800 mil trajetórias do conjunto de dados Open X-Embodiment, o maior conjunto de dados de manipulação robótica até o momento. Ele pode ser instruído por comandos de linguagem ou imagens de objetivo e pode ser efetivamente ajustado a configurações robóticas com novas entradas sensoriais e espaços de ação em poucas horas em GPUs de consumo padrão. Em experimentos realizados em 9 plataformas robóticas, demonstramos que o Octo serve como uma inicialização de política versátil que pode ser efetivamente ajustada a novos espaços de observação e ação. Também realizamos análises detalhadas das decisões de projeto para o modelo Octo, desde a arquitetura até os dados de treinamento, para orientar pesquisas futuras na construção de modelos robóticos generalistas.

English

Large policies pretrained on diverse robot datasets have the potential to transform robotic learning: instead of training new policies from scratch, such generalist robot policies may be finetuned with only a little in-domain data, yet generalize broadly. However, to be widely applicable across a range of robotic learning scenarios, environments, and tasks, such policies need to handle diverse sensors and action spaces, accommodate a variety of commonly used robotic platforms, and finetune readily and efficiently to new domains. In this work, we aim to lay the groundwork for developing open-source, widely applicable, generalist policies for robotic manipulation. As a first step, we introduce Octo, a large transformer-based policy trained on 800k trajectories from the Open X-Embodiment dataset, the largest robot manipulation dataset to date. It can be instructed via language commands or goal images and can be effectively finetuned to robot setups with new sensory inputs and action spaces within a few hours on standard consumer GPUs. In experiments across 9 robotic platforms, we demonstrate that Octo serves as a versatile policy initialization that can be effectively finetuned to new observation and action spaces. We also perform detailed ablations of design decisions for the Octo model, from architecture to training data, to guide future research on building generalist robot models.