Entrenamiento Interactivo Posterior para Modelos de Visión-Lenguaje-Acción

Interactive Post-Training for Vision-Language-Action Models

May 22, 2025

Autores: Shuhan Tan, Kairan Dou, Yue Zhao, Philipp Krähenbühl

cs.AI

Resumen

Presentamos RIPT-VLA, un paradigma simple y escalable de ajuste posterior interactivo basado en aprendizaje por refuerzo que afina modelos preentrenados de Visión-Lenguaje-Acción (VLA) utilizando únicamente recompensas binarias de éxito dispersas. Los flujos de entrenamiento existentes para modelos VLA dependen en gran medida de datos de demostración experta offline y de imitación supervisada, lo que limita su capacidad para adaptarse a nuevas tareas y entornos en regímenes de baja disponibilidad de datos. RIPT-VLA aborda este problema al permitir un ajuste posterior interactivo con un algoritmo de optimización de políticas estable basado en muestreo dinámico de rollouts y estimación de ventajas leave-one-out. RIPT-VLA tiene las siguientes características. En primer lugar, se aplica a diversos modelos VLA, logrando una mejora del 21.2% en el modelo ligero QueST y llevando el modelo OpenVLA-OFT de 7B a una tasa de éxito sin precedentes del 97.5%. En segundo lugar, es computacionalmente eficiente y eficiente en datos: con solo una demostración, RIPT-VLA permite que un modelo SFT inicialmente inviable (4%) alcance una tasa de éxito del 97% en 15 iteraciones. Además, demostramos que la política aprendida por RIPT-VLA se generaliza a través de diferentes tareas y escenarios y es robusta al contexto del estado inicial. Estos resultados destacan a RIPT-VLA como un paradigma práctico y efectivo para el ajuste posterior de modelos VLA con supervisión mínima.

English

We introduce RIPT-VLA, a simple and scalable reinforcement-learning-based interactive post-training paradigm that fine-tunes pretrained Vision-Language-Action (VLA) models using only sparse binary success rewards. Existing VLA training pipelines rely heavily on offline expert demonstration data and supervised imitation, limiting their ability to adapt to new tasks and environments under low-data regimes. RIPT-VLA addresses this by enabling interactive post-training with a stable policy optimization algorithm based on dynamic rollout sampling and leave-one-out advantage estimation. RIPT-VLA has the following characteristics. First, it applies to various VLA models, resulting in an improvement on the lightweight QueST model by 21.2%, and the 7B OpenVLA-OFT model to an unprecedented 97.5% success rate. Second, it is computationally efficient and data-efficient: with only one demonstration, RIPT-VLA enables an unworkable SFT model (4%) to succeed with a 97% success rate within 15 iterations. Furthermore, we demonstrate that the policy learned by RIPT-VLA generalizes across different tasks and scenarios and is robust to the initial state context. These results highlight RIPT-VLA as a practical and effective paradigm for post-training VLA models through minimal supervision.