SimpleVLA-RL: Skalierung des VLA-Trainings durch Reinforcement Learning

papers.abstract

Vision-Language-Action (VLA)-Modelle haben sich kürzlich als leistungsstarkes Paradigma für die robotische Manipulation etabliert. Trotz erheblicher Fortschritte, die durch groß angelegtes Vortraining und überwachtes Feinabstimmen (Supervised Fine-Tuning, SFT) ermöglicht wurden, stehen diese Modelle vor zwei grundlegenden Herausforderungen: (i) die Knappheit und hohen Kosten groß angelegter, von Menschen gesteuerter Roboter-Trajektorien, die für die Skalierung von SFT erforderlich sind, und (ii) die begrenzte Generalisierungsfähigkeit bei Aufgaben, die eine Verschiebung der Verteilung beinhalten. Jüngste Durchbrüche bei Large Reasoning Models (LRMs) zeigen, dass Reinforcement Learning (RL) die schrittweise Argumentationsfähigkeit dramatisch verbessern kann, was die naheliegende Frage aufwirft: Kann RL in ähnlicher Weise die langfristige, schrittweise Aktionsplanung von VLA verbessern? In dieser Arbeit stellen wir SimpleVLA-RL vor, ein effizientes RL-Framework, das speziell für VLA-Modelle entwickelt wurde. Aufbauend auf veRL führen wir VLA-spezifische Trajektorienabtastung, skalierbare Parallelisierung, Multi-Umgebungs-Rendering und optimierte Verlustberechnung ein. Bei der Anwendung auf OpenVLA-OFT erreicht SimpleVLA-RL Spitzenleistungen auf LIBERO und übertrifft sogar pi_0 auf RoboTwin 1.0 & 2.0 mit den von uns eingeführten explorativen Strategien. SimpleVLA-RL reduziert nicht nur die Abhängigkeit von groß angelegten Daten und ermöglicht eine robuste Generalisierung, sondern übertrifft SFT auch bemerkenswert in realen Aufgaben. Darüber hinaus identifizieren wir ein neuartiges Phänomen, das wir „Pushcut“ nennen, während des RL-Trainings, bei dem die Policy zuvor unbekannte Muster entdeckt, die über die im vorherigen Trainingsprozess beobachteten hinausgehen. Github: https://github.com/PRIME-RL/SimpleVLA-RL

English

Vision-Language-Action (VLA) models have recently emerged as a powerful paradigm for robotic manipulation. Despite substantial progress enabled by large-scale pretraining and supervised fine-tuning (SFT), these models face two fundamental challenges: (i) the scarcity and high cost of large-scale human-operated robotic trajectories required for SFT scaling, and (ii) limited generalization to tasks involving distribution shift. Recent breakthroughs in Large Reasoning Models (LRMs) demonstrate that reinforcement learning (RL) can dramatically enhance step-by-step reasoning capabilities, raising a natural question: Can RL similarly improve the long-horizon step-by-step action planning of VLA? In this work, we introduce SimpleVLA-RL, an efficient RL framework tailored for VLA models. Building upon veRL, we introduce VLA-specific trajectory sampling, scalable parallelization, multi-environment rendering, and optimized loss computation. When applied to OpenVLA-OFT, SimpleVLA-RL achieves SoTA performance on LIBERO and even outperforms pi_0 on RoboTwin 1.0\&2.0 with the exploration-enhancing strategies we introduce. SimpleVLA-RL not only reduces dependence on large-scale data and enables robust generalization, but also remarkably surpasses SFT in real-world tasks. Moreover, we identify a novel phenomenon ``pushcut'' during RL training, wherein the policy discovers previously unseen patterns beyond those seen in the previous training process. Github: https://github.com/PRIME-RL/SimpleVLA-RL

SimpleVLA-RL: Skalierung des VLA-Trainings durch Reinforcement Learning

SimpleVLA-RL: Scaling VLA Training via Reinforcement Learning

papers.abstract

Support