OpenVLA: Ein Open-Source-Modell für Vision-Sprache-Aktionen

Zusammenfassung

Große Richtlinien, die auf einer Kombination von Internet-skaligen Vision-Sprach-Daten und vielfältigen Roboter-Demonstrationen vortrainiert sind, haben das Potenzial, die Art und Weise zu verändern, wie wir Robotern neue Fähigkeiten beibringen: Anstatt neue Verhaltensweisen von Grund auf zu trainieren, können wir solche Vision-Sprache-Aktions (VLA) Modelle feinabstimmen, um robuste, generalisierbare Richtlinien für visuomotorische Steuerung zu erhalten. Die weitreichende Übernahme von VLAs für Robotik war jedoch herausfordernd, da 1) bestehende VLAs größtenteils geschlossen und für die Öffentlichkeit unzugänglich sind und 2) frühere Arbeiten es versäumt haben, Methoden zur effizienten Feinabstimmung von VLAs für neue Aufgaben zu erkunden, was ein Schlüsselelement für die Übernahme darstellt. Um diesen Herausforderungen zu begegnen, stellen wir OpenVLA vor, ein 7-Milliarden-Parameter Open-Source VLA, das auf einer vielfältigen Sammlung von 970.000 realen Roboter-Demonstrationen trainiert wurde. OpenVLA baut auf einem Llama 2 Sprachmodell auf, das mit einem visuellen Encoder kombiniert ist, der vortrainierte Merkmale von DINOv2 und SigLIP fusioniert. Als Ergebnis der zusätzlichen Datenvielfalt und neuer Modellkomponenten zeigt OpenVLA starke Ergebnisse für generalistische Manipulation, indem es geschlossene Modelle wie RT-2-X (55B) um 16,5% in absoluter Erfolgsrate über 29 Aufgaben und mehrere Roboter-Verkörperungen übertrifft, und das mit 7-mal weniger Parametern. Wir zeigen weiterhin, dass wir OpenVLA effektiv für neue Einstellungen feinabstimmen können, mit besonders starken Verallgemeinerungsergebnissen in Multi-Task-Umgebungen, die mehrere Objekte und starke Sprachverankerungsfähigkeiten beinhalten, und dass wir ausdrucksstarke Imitationslernmethoden von Grund auf wie Diffusion Policy um 20,4% übertreffen. Wir untersuchen auch die Recheneffizienz; als separaten Beitrag zeigen wir, dass OpenVLA auf Consumer-GPUs über moderne Low-Rank-Anpassungsmethoden effizient feinabgestimmt werden kann und effizient über Quantisierung ohne Einbußen bei der nachgelagerten Erfolgsrate bereitgestellt werden kann. Schließlich veröffentlichen wir Modell-Checkpoints, Feinabstimmungs-Notebooks und unseren PyTorch-Code mit integrierter Unterstützung für das Training von VLAs im großen Maßstab auf Open X-Embodiment Datensätzen.

English

Large policies pretrained on a combination of Internet-scale vision-language data and diverse robot demonstrations have the potential to change how we teach robots new skills: rather than training new behaviors from scratch, we can fine-tune such vision-language-action (VLA) models to obtain robust, generalizable policies for visuomotor control. Yet, widespread adoption of VLAs for robotics has been challenging as 1) existing VLAs are largely closed and inaccessible to the public, and 2) prior work fails to explore methods for efficiently fine-tuning VLAs for new tasks, a key component for adoption. Addressing these challenges, we introduce OpenVLA, a 7B-parameter open-source VLA trained on a diverse collection of 970k real-world robot demonstrations. OpenVLA builds on a Llama 2 language model combined with a visual encoder that fuses pretrained features from DINOv2 and SigLIP. As a product of the added data diversity and new model components, OpenVLA demonstrates strong results for generalist manipulation, outperforming closed models such as RT-2-X (55B) by 16.5% in absolute task success rate across 29 tasks and multiple robot embodiments, with 7x fewer parameters. We further show that we can effectively fine-tune OpenVLA for new settings, with especially strong generalization results in multi-task environments involving multiple objects and strong language grounding abilities, and outperform expressive from-scratch imitation learning methods such as Diffusion Policy by 20.4%. We also explore compute efficiency; as a separate contribution, we show that OpenVLA can be fine-tuned on consumer GPUs via modern low-rank adaptation methods and served efficiently via quantization without a hit to downstream success rate. Finally, we release model checkpoints, fine-tuning notebooks, and our PyTorch codebase with built-in support for training VLAs at scale on Open X-Embodiment datasets.

OpenVLA: Ein Open-Source-Modell für Vision-Sprache-Aktionen

OpenVLA: An Open-Source Vision-Language-Action Model

Zusammenfassung

Support