Objektzentriertes Residual-RL für Zero-Shot Sim-to-Real VLA-Verbesserung

Zusammenfassung

Visuell-sprachliche Handlungsmodelle (VLA-Modelle) können über verschiedene Manipulationsaufgaben hinweg generalisieren, doch ihre auf Imitationslernen basierenden Strategien bleiben aufgrund sich kumulierender Ausführungsfehler bei präzisen physikalischen Interaktionen anfällig. Kann eine rein in der Simulation trainierte Verstärkungslernstrategie die Robustheit realer VLA-Modelle ohne zusätzliches Training (Zero-Shot) verbessern? Residuales RL, das eine korrigierende Strategie auf Basis eines eingefrorenen VLA erlernt, bietet einen natürlichen Rahmen, doch bestehende Ansätze stehen vor einem grundlegenden Sim-to-Real-Dilemma: Methoden mit privilegierten Zuständen erfordern eine verlustbehaftete Destillation für den Einsatz; bildbasierte Methoden leiden unter der visuellen Domänenlücke; und reales RL ist kostspielig und unsicher. Wir schlagen ein objektzentrisches Residual-RL-Framework vor, das VLA-Aktionen mithilfe von Objektposen verfeinert und so einen kompakten Beobachtungsraum ermöglicht, der konsistent zwischen Simulation und Realität übertragen werden kann. Um die beiden Domänen anzugleichen, wiederholen wir zusätzlich dieselben Teleoperationsdemonstrationen in der Simulation, um ein Sim-Gegenstück des realen VLA zu trainieren. Die Residual-RL-Strategie wird ausschließlich in der Simulation mit Pose-Rausch-Injektion und Dropout trainiert und ohne zusätzliches Training (Zero-Shot) auf den realen Roboter übertragen. Über fünf Manipulationsaufgaben an einem realen Franka Research 3 (FR3)-Roboter verbessert unsere Methode die Erfolgsrate von 42 % auf 76 % im Zero-Shot-Verfahren, und die verbesserten Durchläufe können weiterverwendet werden, um das Basis-VLA ohne zusätzliche Teleoperation für eine Selbstverbesserung neu zu trainieren. Projektseite: https://www.microsoft.com/en-us/research/articles/object-centric-residual-rl/

English

Vision-Language-Action (VLA) models can generalize across diverse manipulation tasks, but their imitation-learning-based policies remain brittle in precise physical interactions due to compounding execution errors; Can a reinforcement learning policy trained purely in simulation improve the robustness of real-world VLAs zero-shot? Residual RL, which learns a corrective policy on top of a frozen VLA, offers a natural framework, but existing approaches face a fundamental sim-to-real dilemma: privileged-state methods require lossy distillation for deployment; image-based methods suffer from the visual domain gap; and real-world RL is costly and unsafe. We propose an object-centric residual RL framework that refines VLA actions using object poses, enabling a compact observation space that transfers consistently between simulation and reality. To align the two domains, we additionally replay the same teleoperation demonstrations in simulation to train a sim counterpart of the real-world VLA. The residual RL policy is trained only in simulation with pose noise injection and dropout, and transfers zero-shot to the real robot. Across five manipulation tasks on a real Franka Research 3 (FR3) robot, our method improves the success rate from 42% to 76% zero-shot, and the improved rollouts can be further reused to retrain the base VLA for self-improvement without additional teleoperation. Project page: https://www.microsoft.com/en-us/research/articles/object-centric-residual-rl/