RL résiduel centré sur l'objet pour l'amélioration zéro-shot sim-to-réel de VLA

Résumé

Les modèles Vision-Langage-Action (VLA) peuvent généraliser à travers diverses tâches de manipulation, mais leurs politiques fondées sur l'apprentissage par imitation restent fragiles lors d'interactions physiques précises en raison d'erreurs d'exécution cumulatives. Une politique d'apprentissage par renforcement entraînée uniquement en simulation peut-elle améliorer la robustesse des VLA réels en zéro-shot ? Le RL résiduel, qui apprend une politique corrective par-dessus un VLA figé, offre un cadre naturel, mais les approches existantes se heurtent à un dilemme fondamental sim-vers-réel : les méthodes basées sur des états privilégiés nécessitent une distillation avec perte pour le déploiement ; les méthodes basées sur l'image souffrent du fossé visuel entre domaines ; et le RL dans le monde réel est coûteux et risqué. Nous proposons un cadre de RL résiduel centré sur l'objet qui affine les actions du VLA en utilisant des poses d'objets, permettant un espace d'observation compact qui se transfère de manière cohérente entre simulation et réalité. Pour aligner les deux domaines, nous rejouons en outre les mêmes démonstrations de téléopération en simulation afin d'entraîner un pendant simulé du VLA réel. La politique de RL résiduel est entraînée uniquement en simulation avec injection de bruit de pose et abandon (dropout), et se transfère en zéro-shot au robot réel. Sur cinq tâches de manipulation avec un robot réel Franka Research 3 (FR3), notre méthode améliore le taux de succès de 42 % à 76 % en zéro-shot, et les épisodes améliorés peuvent être réutilisés pour ré-entraîner le VLA de base en vue d'une auto-amélioration sans téléopération supplémentaire. Page du projet : https://www.microsoft.com/en-us/research/articles/object-centric-residual-rl/

English

Vision-Language-Action (VLA) models can generalize across diverse manipulation tasks, but their imitation-learning-based policies remain brittle in precise physical interactions due to compounding execution errors; Can a reinforcement learning policy trained purely in simulation improve the robustness of real-world VLAs zero-shot? Residual RL, which learns a corrective policy on top of a frozen VLA, offers a natural framework, but existing approaches face a fundamental sim-to-real dilemma: privileged-state methods require lossy distillation for deployment; image-based methods suffer from the visual domain gap; and real-world RL is costly and unsafe. We propose an object-centric residual RL framework that refines VLA actions using object poses, enabling a compact observation space that transfers consistently between simulation and reality. To align the two domains, we additionally replay the same teleoperation demonstrations in simulation to train a sim counterpart of the real-world VLA. The residual RL policy is trained only in simulation with pose noise injection and dropout, and transfers zero-shot to the real robot. Across five manipulation tasks on a real Franka Research 3 (FR3) robot, our method improves the success rate from 42% to 76% zero-shot, and the improved rollouts can be further reused to retrain the base VLA for self-improvement without additional teleoperation. Project page: https://www.microsoft.com/en-us/research/articles/object-centric-residual-rl/