SimpleVLA-RL: Scalabilità dell'Addestramento VLA tramite Apprendimento per Rinforzo

Abstract

I modelli Vision-Language-Action (VLA) sono recentemente emersi come un potente paradigma per la manipolazione robotica. Nonostante i notevoli progressi resi possibili dal pre-addestramento su larga scala e dalla messa a punto supervisionata (SFT), questi modelli affrontano due sfide fondamentali: (i) la scarsità e l'elevato costo delle traiettorie robotiche su larga scala operate da esseri umani necessarie per il ridimensionamento dell'SFT, e (ii) la limitata generalizzazione a compiti che coinvolgono uno spostamento di distribuzione. Recenti progressi nei Large Reasoning Models (LRM) dimostrano che l'apprendimento per rinforzo (RL) può migliorare drasticamente le capacità di ragionamento passo-passo, sollevando una domanda naturale: l'RL può migliorare in modo simile la pianificazione delle azioni passo-passo a lungo termine dei VLA? In questo lavoro, introduciamo SimpleVLA-RL, un framework RL efficiente progettato per i modelli VLA. Basandoci su veRL, introduciamo il campionamento di traiettorie specifico per VLA, la parallelizzazione scalabile, il rendering multi-ambiente e il calcolo ottimizzato della perdita. Applicato a OpenVLA-OFT, SimpleVLA-RL raggiunge prestazioni SoTA su LIBERO e supera persino pi_0 su RoboTwin 1.0\&2.0 con le strategie di potenziamento dell'esplorazione che introduciamo. SimpleVLA-RL non solo riduce la dipendenza da dati su larga scala e consente una generalizzazione robusta, ma supera anche notevolmente l'SFT nei compiti del mondo reale. Inoltre, identifichiamo un nuovo fenomeno chiamato "pushcut" durante l'addestramento RL, in cui la politica scopre schemi precedentemente non visti oltre a quelli osservati nel processo di addestramento precedente. Github: https://github.com/PRIME-RL/SimpleVLA-RL

English

Vision-Language-Action (VLA) models have recently emerged as a powerful paradigm for robotic manipulation. Despite substantial progress enabled by large-scale pretraining and supervised fine-tuning (SFT), these models face two fundamental challenges: (i) the scarcity and high cost of large-scale human-operated robotic trajectories required for SFT scaling, and (ii) limited generalization to tasks involving distribution shift. Recent breakthroughs in Large Reasoning Models (LRMs) demonstrate that reinforcement learning (RL) can dramatically enhance step-by-step reasoning capabilities, raising a natural question: Can RL similarly improve the long-horizon step-by-step action planning of VLA? In this work, we introduce SimpleVLA-RL, an efficient RL framework tailored for VLA models. Building upon veRL, we introduce VLA-specific trajectory sampling, scalable parallelization, multi-environment rendering, and optimized loss computation. When applied to OpenVLA-OFT, SimpleVLA-RL achieves SoTA performance on LIBERO and even outperforms pi_0 on RoboTwin 1.0\&2.0 with the exploration-enhancing strategies we introduce. SimpleVLA-RL not only reduces dependence on large-scale data and enables robust generalization, but also remarkably surpasses SFT in real-world tasks. Moreover, we identify a novel phenomenon ``pushcut'' during RL training, wherein the policy discovers previously unseen patterns beyond those seen in the previous training process. Github: https://github.com/PRIME-RL/SimpleVLA-RL

SimpleVLA-RL: Scalabilità dell'Addestramento VLA tramite Apprendimento per Rinforzo

SimpleVLA-RL: Scaling VLA Training via Reinforcement Learning

Abstract

Support