RL Residual Centrado en Objetos para la Mejora Zero-Shot de VLA en Sim-to-Real

Resumen

Los modelos Visión-Lenguaje-Acción (VLA) pueden generalizarse a través de diversas tareas de manipulación, pero sus políticas basadas en aprendizaje por imitación siguen siendo frágiles en interacciones físicas precisas debido a errores de ejecución acumulativos; ¿puede una política de aprendizaje por refuerzo entrenada puramente en simulación mejorar la robustez de los VLA del mundo real de forma zero-shot? El RL residual, que aprende una política correctiva sobre un VLA congelado, ofrece un marco natural, pero los enfoques existentes enfrentan un dilema fundamental de simulación a realidad: los métodos de estado privilegiado requieren destilación con pérdidas para su despliegue; los métodos basados en imágenes sufren la brecha de dominio visual; y el RL en el mundo real es costoso e inseguro. Proponemos un marco de RL residual centrado en objetos que refina las acciones del VLA utilizando poses de objetos, permitiendo un espacio de observación compacto que se transfiere de manera consistente entre simulación y realidad. Para alinear los dos dominios, además reproducimos las mismas demostraciones de teleoperación en simulación para entrenar un equivalente simulado del VLA del mundo real. La política de RL residual se entrena únicamente en simulación con inyección de ruido en la pose y dropout, y se transfiere zero-shot al robot real. En cinco tareas de manipulación con un robot real Franka Research 3 (FR3), nuestro método mejora la tasa de éxito del 42% al 76% de forma zero-shot, y las ejecuciones mejoradas pueden reutilizarse para reentrenar el VLA base para la automejora sin teleoperación adicional. Página del proyecto: https://www.microsoft.com/en-us/research/articles/object-centric-residual-rl/

English

Vision-Language-Action (VLA) models can generalize across diverse manipulation tasks, but their imitation-learning-based policies remain brittle in precise physical interactions due to compounding execution errors; Can a reinforcement learning policy trained purely in simulation improve the robustness of real-world VLAs zero-shot? Residual RL, which learns a corrective policy on top of a frozen VLA, offers a natural framework, but existing approaches face a fundamental sim-to-real dilemma: privileged-state methods require lossy distillation for deployment; image-based methods suffer from the visual domain gap; and real-world RL is costly and unsafe. We propose an object-centric residual RL framework that refines VLA actions using object poses, enabling a compact observation space that transfers consistently between simulation and reality. To align the two domains, we additionally replay the same teleoperation demonstrations in simulation to train a sim counterpart of the real-world VLA. The residual RL policy is trained only in simulation with pose noise injection and dropout, and transfers zero-shot to the real robot. Across five manipulation tasks on a real Franka Research 3 (FR3) robot, our method improves the success rate from 42% to 76% zero-shot, and the improved rollouts can be further reused to retrain the base VLA for self-improvement without additional teleoperation. Project page: https://www.microsoft.com/en-us/research/articles/object-centric-residual-rl/