SimpleVLA-RL: Масштабирование обучения VLA с использованием обучения с подкреплением
SimpleVLA-RL: Scaling VLA Training via Reinforcement Learning
September 11, 2025
Авторы: Haozhan Li, Yuxin Zuo, Jiale Yu, Yuhao Zhang, Zhaohui Yang, Kaiyan Zhang, Xuekai Zhu, Yuchen Zhang, Tianxing Chen, Ganqu Cui, Dehui Wang, Dingxiang Luo, Yuchen Fan, Youbang Sun, Jia Zeng, Jiangmiao Pang, Shanghang Zhang, Yu Wang, Yao Mu, Bowen Zhou, Ning Ding
cs.AI
Аннотация
Модели Vision-Language-Action (VLA) недавно стали мощной парадигмой для роботизированного манипулирования. Несмотря на значительный прогресс, достигнутый благодаря крупномасштабному предварительному обучению и тонкой настройке с учителем (SFT), эти модели сталкиваются с двумя фундаментальными проблемами: (i) дефицит и высокая стоимость крупномасштабных траекторий, управляемых человеком, необходимых для масштабирования SFT, и (ii) ограниченная обобщаемость на задачи, связанные со сдвигом распределения. Недавние прорывы в области Large Reasoning Models (LRMs) демонстрируют, что обучение с подкреплением (RL) может значительно улучшить пошаговые рассуждения, что поднимает естественный вопрос: Может ли RL аналогичным образом улучшить долгосрочное пошаговое планирование действий в VLA? В данной работе мы представляем SimpleVLA-RL, эффективный фреймворк RL, адаптированный для моделей VLA. Основываясь на veRL, мы вводим специфичный для VLA отбор траекторий, масштабируемую параллелизацию, рендеринг в нескольких средах и оптимизированное вычисление потерь. Примененный к OpenVLA-OFT, SimpleVLA-RL достигает наилучших результатов на LIBERO и даже превосходит pi_0 на RoboTwin 1.0\&2.0 благодаря стратегиям, усиливающим исследование, которые мы предлагаем. SimpleVLA-RL не только снижает зависимость от крупномасштабных данных и обеспечивает устойчивую обобщаемость, но и значительно превосходит SFT в реальных задачах. Более того, мы обнаруживаем новое явление «pushcut» в процессе обучения RL, при котором политика обнаруживает ранее невидимые паттерны, выходящие за рамки тех, что наблюдались в предыдущем процессе обучения. Github: https://github.com/PRIME-RL/SimpleVLA-RL
English
Vision-Language-Action (VLA) models have recently emerged as a powerful
paradigm for robotic manipulation. Despite substantial progress enabled by
large-scale pretraining and supervised fine-tuning (SFT), these models face two
fundamental challenges: (i) the scarcity and high cost of large-scale
human-operated robotic trajectories required for SFT scaling, and (ii) limited
generalization to tasks involving distribution shift. Recent breakthroughs in
Large Reasoning Models (LRMs) demonstrate that reinforcement learning (RL) can
dramatically enhance step-by-step reasoning capabilities, raising a natural
question: Can RL similarly improve the long-horizon step-by-step action
planning of VLA? In this work, we introduce SimpleVLA-RL, an efficient RL
framework tailored for VLA models. Building upon veRL, we introduce
VLA-specific trajectory sampling, scalable parallelization, multi-environment
rendering, and optimized loss computation. When applied to OpenVLA-OFT,
SimpleVLA-RL achieves SoTA performance on LIBERO and even outperforms pi_0
on RoboTwin 1.0\&2.0 with the exploration-enhancing strategies we introduce.
SimpleVLA-RL not only reduces dependence on large-scale data and enables robust
generalization, but also remarkably surpasses SFT in real-world tasks.
Moreover, we identify a novel phenomenon ``pushcut'' during RL training,
wherein the policy discovers previously unseen patterns beyond those seen in
the previous training process. Github: https://github.com/PRIME-RL/SimpleVLA-RL