SimpleVLA-RL: Escalando el Entrenamiento de VLA mediante Aprendizaje por Refuerzo

Resumen

Los modelos Visión-Lenguaje-Acción (VLA, por sus siglas en inglés) han surgido recientemente como un paradigma poderoso para la manipulación robótica. A pesar del progreso sustancial habilitado por el preentrenamiento a gran escala y el ajuste fino supervisado (SFT), estos modelos enfrentan dos desafíos fundamentales: (i) la escasez y el alto costo de las trayectorias robóticas operadas por humanos a gran escala requeridas para escalar el SFT, y (ii) la limitada generalización a tareas que implican cambios en la distribución. Avances recientes en los Modelos de Razonamiento a Gran Escala (LRMs) demuestran que el aprendizaje por refuerzo (RL) puede mejorar drásticamente las capacidades de razonamiento paso a paso, planteando una pregunta natural: ¿Puede el RL mejorar de manera similar la planificación de acciones paso a paso a largo plazo de los VLA? En este trabajo, presentamos SimpleVLA-RL, un marco de RL eficiente diseñado para modelos VLA. Basándonos en veRL, introducimos muestreo de trayectorias específico para VLA, paralelización escalable, renderizado multi-entorno y cálculo optimizado de pérdidas. Al aplicarlo a OpenVLA-OFT, SimpleVLA-RL logra un rendimiento de vanguardia en LIBERO e incluso supera a pi_0 en RoboTwin 1.0\&2.0 con las estrategias de mejora de exploración que introducimos. SimpleVLA-RL no solo reduce la dependencia de datos a gran escala y permite una generalización robusta, sino que también supera notablemente al SFT en tareas del mundo real. Además, identificamos un fenómeno novedoso llamado "pushcut" durante el entrenamiento de RL, en el que la política descubre patrones previamente no vistos más allá de los observados en el proceso de entrenamiento anterior. Github: https://github.com/PRIME-RL/SimpleVLA-RL

English

Vision-Language-Action (VLA) models have recently emerged as a powerful paradigm for robotic manipulation. Despite substantial progress enabled by large-scale pretraining and supervised fine-tuning (SFT), these models face two fundamental challenges: (i) the scarcity and high cost of large-scale human-operated robotic trajectories required for SFT scaling, and (ii) limited generalization to tasks involving distribution shift. Recent breakthroughs in Large Reasoning Models (LRMs) demonstrate that reinforcement learning (RL) can dramatically enhance step-by-step reasoning capabilities, raising a natural question: Can RL similarly improve the long-horizon step-by-step action planning of VLA? In this work, we introduce SimpleVLA-RL, an efficient RL framework tailored for VLA models. Building upon veRL, we introduce VLA-specific trajectory sampling, scalable parallelization, multi-environment rendering, and optimized loss computation. When applied to OpenVLA-OFT, SimpleVLA-RL achieves SoTA performance on LIBERO and even outperforms pi_0 on RoboTwin 1.0\&2.0 with the exploration-enhancing strategies we introduce. SimpleVLA-RL not only reduces dependence on large-scale data and enables robust generalization, but also remarkably surpasses SFT in real-world tasks. Moreover, we identify a novel phenomenon ``pushcut'' during RL training, wherein the policy discovers previously unseen patterns beyond those seen in the previous training process. Github: https://github.com/PRIME-RL/SimpleVLA-RL

SimpleVLA-RL: Escalando el Entrenamiento de VLA mediante Aprendizaje por Refuerzo

SimpleVLA-RL: Scaling VLA Training via Reinforcement Learning

Resumen

Support