OpenVLA: Модель открытого исходного кода для взаимодействия зрения, языка и действия.

Аннотация

Большие заранее обученные политики на комбинации данных по видению и языку в масштабах Интернета и разнообразных демонстраций роботов имеют потенциал изменить способ обучения роботов новым навыкам: вместо обучения новых поведенческих моделей с нуля, мы можем донастраивать такие модели видение-язык-действие (VLA) для получения надежных, обобщаемых политик для визуомоторного управления. Тем не менее, широкое принятие VLA для робототехники оказалось сложным из-за того, что 1) существующие VLA в значительной степени закрыты и недоступны для публики, и 2) предыдущие работы не исследовали методы для эффективного донастройки VLA для новых задач, что является ключевым компонентом для принятия. Для решения этих проблем мы представляем OpenVLA, открытый VLA с 7 миллиардами параметров, обученный на разнообразной коллекции из 970 тысяч реальных демонстраций роботов. OpenVLA основан на языковой модели Llama 2, объединенной с визуальным кодировщиком, который объединяет заранее обученные функции из DINOv2 и SigLIP. В результате добавленного разнообразия данных и новых компонентов модели OpenVLA продемонстрировал отличные результаты для обобщенной манипуляции, превосходя закрытые модели, такие как RT-2-X (55 миллиардов), на 16,5% в абсолютном показателе успешности выполнения задач по 29 задачам и нескольким роботизированным воплощениям, с 7 раз меньшим количеством параметров. Мы также показываем, что мы можем эффективно донастраивать OpenVLA для новых настроек, с особенно сильными результатами обобщения в многозадачных средах, включающих несколько объектов и сильные языковые способности, и превосходим методы имитационного обучения "с нуля", такие как Diffusion Policy, на 20,4%. Мы также исследуем эффективность вычислений; как отдельный вклад, мы показываем, что OpenVLA может быть эффективно донастроен на потребительских GPU с использованием современных методов адаптации с низким рангом и обслуживаться эффективно через квантизацию без ущерба для успешности в последующих задачах. Наконец, мы выпускаем контрольные точки модели, блокноты для донастройки и нашу кодовую базу PyTorch с встроенной поддержкой обучения VLA в масштабе на наборах данных Open X-Embodiment.

English

Large policies pretrained on a combination of Internet-scale vision-language data and diverse robot demonstrations have the potential to change how we teach robots new skills: rather than training new behaviors from scratch, we can fine-tune such vision-language-action (VLA) models to obtain robust, generalizable policies for visuomotor control. Yet, widespread adoption of VLAs for robotics has been challenging as 1) existing VLAs are largely closed and inaccessible to the public, and 2) prior work fails to explore methods for efficiently fine-tuning VLAs for new tasks, a key component for adoption. Addressing these challenges, we introduce OpenVLA, a 7B-parameter open-source VLA trained on a diverse collection of 970k real-world robot demonstrations. OpenVLA builds on a Llama 2 language model combined with a visual encoder that fuses pretrained features from DINOv2 and SigLIP. As a product of the added data diversity and new model components, OpenVLA demonstrates strong results for generalist manipulation, outperforming closed models such as RT-2-X (55B) by 16.5% in absolute task success rate across 29 tasks and multiple robot embodiments, with 7x fewer parameters. We further show that we can effectively fine-tune OpenVLA for new settings, with especially strong generalization results in multi-task environments involving multiple objects and strong language grounding abilities, and outperform expressive from-scratch imitation learning methods such as Diffusion Policy by 20.4%. We also explore compute efficiency; as a separate contribution, we show that OpenVLA can be fine-tuned on consumer GPUs via modern low-rank adaptation methods and served efficiently via quantization without a hit to downstream success rate. Finally, we release model checkpoints, fine-tuning notebooks, and our PyTorch codebase with built-in support for training VLAs at scale on Open X-Embodiment datasets.

OpenVLA: Модель открытого исходного кода для взаимодействия зрения, языка и действия.

OpenVLA: An Open-Source Vision-Language-Action Model

Аннотация

Support