OpenVLA: Un Modelo de Visión-Lenguaje-Acción de Código Abierto

Resumen

Las políticas de gran escala preentrenadas en una combinación de datos visión-lenguaje a escala de Internet y demostraciones robóticas diversas tienen el potencial de cambiar cómo enseñamos nuevas habilidades a los robots: en lugar de entrenar comportamientos desde cero, podemos ajustar finamente estos modelos visión-lenguaje-acción (VLA) para obtener políticas robustas y generalizables para el control visuomotor. Sin embargo, la adopción generalizada de los VLA en robótica ha sido un desafío debido a que 1) los VLA existentes son en gran medida cerrados e inaccesibles para el público, y 2) trabajos previos no han explorado métodos para ajustar eficientemente los VLA en nuevas tareas, un componente clave para su adopción. Para abordar estos desafíos, presentamos OpenVLA, un VLA de código abierto con 7 mil millones de parámetros, entrenado en una colección diversa de 970 mil demostraciones robóticas del mundo real. OpenVLA se basa en un modelo de lenguaje Llama 2 combinado con un codificador visual que fusiona características preentrenadas de DINOv2 y SigLIP. Como resultado de la diversidad de datos añadida y los nuevos componentes del modelo, OpenVLA demuestra resultados sólidos para la manipulación generalista, superando a modelos cerrados como RT-2-X (55B) en un 16.5% en la tasa de éxito absoluta en 29 tareas y múltiples configuraciones robóticas, con 7 veces menos parámetros. Además, mostramos que podemos ajustar eficazmente OpenVLA para nuevos entornos, con resultados especialmente fuertes en generalización en entornos multitarea que involucran múltiples objetos y habilidades sólidas de comprensión del lenguaje, superando a métodos de aprendizaje por imitación desde cero como Diffusion Policy en un 20.4%. También exploramos la eficiencia computacional; como una contribución separada, demostramos que OpenVLA puede ajustarse en GPUs de consumo mediante métodos modernos de adaptación de bajo rango y servirse eficientemente mediante cuantización sin afectar la tasa de éxito en tareas posteriores. Finalmente, publicamos puntos de control del modelo, cuadernos de ajuste fino y nuestro código base en PyTorch con soporte integrado para entrenar VLA a escala en conjuntos de datos Open X-Embodiment.

English

Large policies pretrained on a combination of Internet-scale vision-language data and diverse robot demonstrations have the potential to change how we teach robots new skills: rather than training new behaviors from scratch, we can fine-tune such vision-language-action (VLA) models to obtain robust, generalizable policies for visuomotor control. Yet, widespread adoption of VLAs for robotics has been challenging as 1) existing VLAs are largely closed and inaccessible to the public, and 2) prior work fails to explore methods for efficiently fine-tuning VLAs for new tasks, a key component for adoption. Addressing these challenges, we introduce OpenVLA, a 7B-parameter open-source VLA trained on a diverse collection of 970k real-world robot demonstrations. OpenVLA builds on a Llama 2 language model combined with a visual encoder that fuses pretrained features from DINOv2 and SigLIP. As a product of the added data diversity and new model components, OpenVLA demonstrates strong results for generalist manipulation, outperforming closed models such as RT-2-X (55B) by 16.5% in absolute task success rate across 29 tasks and multiple robot embodiments, with 7x fewer parameters. We further show that we can effectively fine-tune OpenVLA for new settings, with especially strong generalization results in multi-task environments involving multiple objects and strong language grounding abilities, and outperform expressive from-scratch imitation learning methods such as Diffusion Policy by 20.4%. We also explore compute efficiency; as a separate contribution, we show that OpenVLA can be fine-tuned on consumer GPUs via modern low-rank adaptation methods and served efficiently via quantization without a hit to downstream success rate. Finally, we release model checkpoints, fine-tuning notebooks, and our PyTorch codebase with built-in support for training VLAs at scale on Open X-Embodiment datasets.

OpenVLA: Un Modelo de Visión-Lenguaje-Acción de Código Abierto

OpenVLA: An Open-Source Vision-Language-Action Model

Resumen

Support