SRPO: Optimización de Políticas Autorreferenciales para Modelos de Visión, Lenguaje y Acción

Resumen

Los modelos Visión-Lenguaje-Acción (VLA) sobresalen en la manipulación robótica, pero están limitados por su fuerte dependencia de demostraciones expertas, lo que genera un sesgo demostrativo y restringe su rendimiento. El aprendizaje por refuerzo (RL) es una estrategia vital de post-entrenamiento para superar estos límites; sin embargo, los métodos VLA-RL actuales, incluidos los enfoques de optimización basados en grupos, se ven severamente afectados por la escasez de recompensas. Depender de indicadores binarios de éxito desperdicia información valiosa en trayectorias fallidas, resultando en una baja eficiencia de entrenamiento. Para resolver esto, proponemos la Optimización de Políticas Auto-Referenciales (SRPO), un novedoso marco VLA-RL. SRPO elimina la necesidad de demostraciones externas o ingeniería manual de recompensas al utilizar las propias trayectorias exitosas del modelo, generadas dentro del lote de entrenamiento actual, como autorreferencia. Esto nos permite asignar una recompensa progresiva a los intentos fallidos. Una innovación central es el uso de representaciones latentes del mundo para medir el progreso conductual de manera robusta. En lugar de depender de píxeles en bruto o requerir ajustes específicos por dominio, utilizamos las codificaciones comprimidas y transferibles del espacio latente de un modelo mundial. Estas representaciones capturan patrones de progreso naturalmente entre entornos, permitiendo una comparación precisa y generalizada de trayectorias. Las evaluaciones empíricas en el benchmark LIBERO demuestran la eficiencia y efectividad de SRPO. Partiendo de una línea base supervisada con un 48.9% de éxito, SRPO alcanza un nuevo estado del arte con una tasa de éxito del 99.2% en solo 200 pasos de RL, lo que representa una mejora relativa del 103% sin supervisión adicional. Además, SRPO muestra una robustez sustancial, logrando una mejora de rendimiento del 167% en el benchmark LIBERO-Plus.

English

Vision-Language-Action (VLA) models excel in robotic manipulation but are constrained by their heavy reliance on expert demonstrations, leading to demonstration bias and limiting performance. Reinforcement learning (RL) is a vital post-training strategy to overcome these limits, yet current VLA-RL methods, including group-based optimization approaches, are crippled by severe reward sparsity. Relying on binary success indicators wastes valuable information in failed trajectories, resulting in low training efficiency. To solve this, we propose Self-Referential Policy Optimization (SRPO), a novel VLA-RL framework. SRPO eliminates the need for external demonstrations or manual reward engineering by leveraging the model's own successful trajectories, generated within the current training batch, as a self-reference. This allows us to assign a progress-wise reward to failed attempts. A core innovation is the use of latent world representations to measure behavioral progress robustly. Instead of relying on raw pixels or requiring domain-specific fine-tuning, we utilize the compressed, transferable encodings from a world model's latent space. These representations naturally capture progress patterns across environments, enabling accurate, generalized trajectory comparison. Empirical evaluations on the LIBERO benchmark demonstrate SRPO's efficiency and effectiveness. Starting from a supervised baseline with 48.9% success, SRPO achieves a new state-of-the-art success rate of 99.2% in just 200 RL steps, representing a 103% relative improvement without any extra supervision. Furthermore, SRPO shows substantial robustness, achieving a 167% performance improvement on the LIBERO-Plus benchmark.

SRPO: Optimización de Políticas Autorreferenciales para Modelos de Visión, Lenguaje y Acción

SRPO: Self-Referential Policy Optimization for Vision-Language-Action Models

Resumen

Support