OpenVLA: Um Modelo de Visão-Linguagem-Ação de Código Aberto

Resumo

Grandes políticas pré-treinadas em uma combinação de dados visuais e linguísticos em escala da Internet e demonstrações robóticas diversas têm o potencial de mudar a forma como ensinamos novas habilidades a robôs: em vez de treinar novos comportamentos do zero, podemos ajustar finamente esses modelos de visão-linguagem-ação (VLA) para obter políticas robustas e generalizáveis para controle visuomotor. No entanto, a adoção generalizada de VLAs para robótica tem sido desafiadora, pois 1) os VLAs existentes são em grande parte fechados e inacessíveis ao público, e 2) trabalhos anteriores não exploram métodos para ajustar eficientemente VLAs para novas tarefas, um componente chave para a adoção. Para enfrentar esses desafios, introduzimos o OpenVLA, um VLA de código aberto com 7 bilhões de parâmetros, treinado em uma coleção diversificada de 970 mil demonstrações robóticas do mundo real. O OpenVLA é construído sobre um modelo de linguagem Llama 2 combinado com um codificador visual que funde características pré-treinadas do DINOv2 e SigLIP. Como resultado da diversidade de dados adicionada e dos novos componentes do modelo, o OpenVLA demonstra resultados robustos para manipulação generalista, superando modelos fechados como o RT-2-X (55B) em 16,5% na taxa absoluta de sucesso de tarefas em 29 tarefas e múltiplas configurações robóticas, com 7 vezes menos parâmetros. Mostramos ainda que podemos ajustar eficientemente o OpenVLA para novos cenários, com resultados especialmente fortes de generalização em ambientes multitarefa envolvendo múltiplos objetos e habilidades sólidas de fundamentação linguística, superando métodos expressivos de aprendizado por imitação do zero, como o Diffusion Policy, em 20,4%. Também exploramos a eficiência computacional; como uma contribuição separada, mostramos que o OpenVLA pode ser ajustado em GPUs de consumo por meio de métodos modernos de adaptação de baixo posto e servido eficientemente via quantização sem prejudicar a taxa de sucesso em tarefas subsequentes. Por fim, disponibilizamos checkpoints do modelo, notebooks de ajuste fino e nossa base de código PyTorch com suporte integrado para treinar VLAs em escala em conjuntos de dados Open X-Embodiment.

English

Large policies pretrained on a combination of Internet-scale vision-language data and diverse robot demonstrations have the potential to change how we teach robots new skills: rather than training new behaviors from scratch, we can fine-tune such vision-language-action (VLA) models to obtain robust, generalizable policies for visuomotor control. Yet, widespread adoption of VLAs for robotics has been challenging as 1) existing VLAs are largely closed and inaccessible to the public, and 2) prior work fails to explore methods for efficiently fine-tuning VLAs for new tasks, a key component for adoption. Addressing these challenges, we introduce OpenVLA, a 7B-parameter open-source VLA trained on a diverse collection of 970k real-world robot demonstrations. OpenVLA builds on a Llama 2 language model combined with a visual encoder that fuses pretrained features from DINOv2 and SigLIP. As a product of the added data diversity and new model components, OpenVLA demonstrates strong results for generalist manipulation, outperforming closed models such as RT-2-X (55B) by 16.5% in absolute task success rate across 29 tasks and multiple robot embodiments, with 7x fewer parameters. We further show that we can effectively fine-tune OpenVLA for new settings, with especially strong generalization results in multi-task environments involving multiple objects and strong language grounding abilities, and outperform expressive from-scratch imitation learning methods such as Diffusion Policy by 20.4%. We also explore compute efficiency; as a separate contribution, we show that OpenVLA can be fine-tuned on consumer GPUs via modern low-rank adaptation methods and served efficiently via quantization without a hit to downstream success rate. Finally, we release model checkpoints, fine-tuning notebooks, and our PyTorch codebase with built-in support for training VLAs at scale on Open X-Embodiment datasets.

OpenVLA: Um Modelo de Visão-Linguagem-Ação de Código Aberto

OpenVLA: An Open-Source Vision-Language-Action Model

Resumo

Support