OpenVLA: Een Open-Source Vision-Taal-Actie Model

Samenvatting

Grote beleidsmodellen die vooraf zijn getraind op een combinatie van internet-schaal visueel-taalkundige gegevens en diverse robotdemonstraties, hebben het potentieel om te veranderen hoe we robots nieuwe vaardigheden aanleren: in plaats van nieuwe gedragingen vanaf nul te trainen, kunnen we dergelijke visueel-taalkundige-actie (VLA) modellen finetunen om robuuste, generaliseerbare beleidsmodellen voor visuomotorische controle te verkrijgen. Toch is de brede adoptie van VLA's voor robotica uitdagend gebleken, omdat 1) bestaande VLA's grotendeels gesloten en ontoegankelijk zijn voor het publiek, en 2) eerder werk er niet in slaagt methoden te verkennen voor het efficiënt finetunen van VLA's voor nieuwe taken, een sleutelcomponent voor adoptie. Om deze uitdagingen aan te pakken, introduceren we OpenVLA, een open-source VLA met 7B parameters, getraind op een diverse verzameling van 970k real-world robotdemonstraties. OpenVLA bouwt voort op een Llama 2 taalmodel gecombineerd met een visuele encoder die vooraf getrainde kenmerken van DINOv2 en SigLIP integreert. Als gevolg van de toegevoegde gegevensdiversiteit en nieuwe modelcomponenten, toont OpenVLA sterke resultaten voor generalistische manipulatie, waarbij het gesloten modellen zoals RT-2-X (55B) overtreft met 16,5% in absolute taaksuccesratio over 29 taken en meerdere robotembodiments, met 7x minder parameters. We tonen verder aan dat we OpenVLA effectief kunnen finetunen voor nieuwe instellingen, met vooral sterke generalisatieresultaten in multi-task omgevingen met meerdere objecten en sterke taalkundige grondingsvaardigheden, en overtreffen expressieve imitatieleermethoden vanaf nul, zoals Diffusion Policy, met 20,4%. We onderzoeken ook rekenefficiëntie; als een aparte bijdrage tonen we aan dat OpenVLA gefinetuned kan worden op consumenten-GPU's via moderne low-rank aanpassingsmethoden en efficiënt kan worden bediend via kwantisatie zonder verlies van downstream-succesratio. Tot slot geven we modelcheckpoints, finetuning-notebooks en onze PyTorch-codebase vrij met ingebouwde ondersteuning voor het trainen van VLA's op schaal op Open X-Embodiment datasets.

English

Large policies pretrained on a combination of Internet-scale vision-language data and diverse robot demonstrations have the potential to change how we teach robots new skills: rather than training new behaviors from scratch, we can fine-tune such vision-language-action (VLA) models to obtain robust, generalizable policies for visuomotor control. Yet, widespread adoption of VLAs for robotics has been challenging as 1) existing VLAs are largely closed and inaccessible to the public, and 2) prior work fails to explore methods for efficiently fine-tuning VLAs for new tasks, a key component for adoption. Addressing these challenges, we introduce OpenVLA, a 7B-parameter open-source VLA trained on a diverse collection of 970k real-world robot demonstrations. OpenVLA builds on a Llama 2 language model combined with a visual encoder that fuses pretrained features from DINOv2 and SigLIP. As a product of the added data diversity and new model components, OpenVLA demonstrates strong results for generalist manipulation, outperforming closed models such as RT-2-X (55B) by 16.5% in absolute task success rate across 29 tasks and multiple robot embodiments, with 7x fewer parameters. We further show that we can effectively fine-tune OpenVLA for new settings, with especially strong generalization results in multi-task environments involving multiple objects and strong language grounding abilities, and outperform expressive from-scratch imitation learning methods such as Diffusion Policy by 20.4%. We also explore compute efficiency; as a separate contribution, we show that OpenVLA can be fine-tuned on consumer GPUs via modern low-rank adaptation methods and served efficiently via quantization without a hit to downstream success rate. Finally, we release model checkpoints, fine-tuning notebooks, and our PyTorch codebase with built-in support for training VLAs at scale on Open X-Embodiment datasets.

OpenVLA: Een Open-Source Vision-Taal-Actie Model

OpenVLA: An Open-Source Vision-Language-Action Model

Samenvatting

Support