OpenVLA : Un modèle vision-langage-action open source

Résumé

Les politiques de grande envergure pré-entraînées sur une combinaison de données vision-langage à l'échelle d'Internet et de démonstrations robotiques diversifiées ont le potentiel de transformer la manière dont nous enseignons de nouvelles compétences aux robots : plutôt que d'entraîner de nouveaux comportements à partir de zéro, nous pouvons affiner ces modèles vision-langage-action (VLA) pour obtenir des politiques robustes et généralisables pour le contrôle visuomoteur. Cependant, l'adoption généralisée des VLA en robotique s'est avérée difficile car 1) les VLA existants sont largement fermés et inaccessibles au public, et 2) les travaux antérieurs n'explorent pas les méthodes pour affiner efficacement les VLA pour de nouvelles tâches, un élément clé pour leur adoption. Pour relever ces défis, nous présentons OpenVLA, un VLA open-source de 7 milliards de paramètres entraîné sur une collection diversifiée de 970 000 démonstrations robotiques du monde réel. OpenVLA s'appuie sur un modèle de langage Llama 2 combiné à un encodeur visuel qui fusionne les caractéristiques pré-entraînées de DINOv2 et SigLIP. Grâce à la diversité accrue des données et aux nouveaux composants du modèle, OpenVLA démontre des résultats solides pour la manipulation généraliste, surpassant des modèles fermés comme RT-2-X (55B) de 16,5 % en taux de réussite absolue sur 29 tâches et plusieurs incarnations robotiques, avec 7 fois moins de paramètres. Nous montrons en outre que nous pouvons affiner efficacement OpenVLA pour de nouveaux contextes, avec des résultats de généralisation particulièrement forts dans des environnements multi-tâches impliquant plusieurs objets et de solides capacités d'ancrage linguistique, et surpassons les méthodes d'apprentissage par imitation à partir de zéro comme Diffusion Policy de 20,4 %. Nous explorons également l'efficacité computationnelle ; en tant que contribution distincte, nous montrons qu'OpenVLA peut être affiné sur des GPU grand public via des méthodes modernes d'adaptation à faible rang et servi efficacement via la quantification sans impact sur le taux de réussite en aval. Enfin, nous publions les points de contrôle du modèle, les notebooks d'affinage et notre codebase PyTorch avec un support intégré pour l'entraînement de VLA à grande échelle sur les ensembles de données Open X-Embodiment.

English

Large policies pretrained on a combination of Internet-scale vision-language data and diverse robot demonstrations have the potential to change how we teach robots new skills: rather than training new behaviors from scratch, we can fine-tune such vision-language-action (VLA) models to obtain robust, generalizable policies for visuomotor control. Yet, widespread adoption of VLAs for robotics has been challenging as 1) existing VLAs are largely closed and inaccessible to the public, and 2) prior work fails to explore methods for efficiently fine-tuning VLAs for new tasks, a key component for adoption. Addressing these challenges, we introduce OpenVLA, a 7B-parameter open-source VLA trained on a diverse collection of 970k real-world robot demonstrations. OpenVLA builds on a Llama 2 language model combined with a visual encoder that fuses pretrained features from DINOv2 and SigLIP. As a product of the added data diversity and new model components, OpenVLA demonstrates strong results for generalist manipulation, outperforming closed models such as RT-2-X (55B) by 16.5% in absolute task success rate across 29 tasks and multiple robot embodiments, with 7x fewer parameters. We further show that we can effectively fine-tune OpenVLA for new settings, with especially strong generalization results in multi-task environments involving multiple objects and strong language grounding abilities, and outperform expressive from-scratch imitation learning methods such as Diffusion Policy by 20.4%. We also explore compute efficiency; as a separate contribution, we show that OpenVLA can be fine-tuned on consumer GPUs via modern low-rank adaptation methods and served efficiently via quantization without a hit to downstream success rate. Finally, we release model checkpoints, fine-tuning notebooks, and our PyTorch codebase with built-in support for training VLAs at scale on Open X-Embodiment datasets.

OpenVLA : Un modèle vision-langage-action open source

OpenVLA: An Open-Source Vision-Language-Action Model

Résumé

Support