제로샷 시뮬-투-리얼 VLA 향상을 위한 객체 중심 잔차 강화학습

초록

비전-언어-행동(VLA) 모델은 다양한 조작 작업에서 일반화할 수 있지만, 모방 학습 기반 정책은 누적 실행 오류로 인해 정밀한 물리적 상호작용에서 취약함을 보입니다. 순수하게 시뮬레이션에서 훈련된 강화 학습 정책이 실제 세계 VLA의 견고성을 제로샷으로 향상시킬 수 있을까요? 잔여 강화 학습(Residual RL)은 동결된 VLA 위에 교정 정책을 학습하는 자연스러운 프레임워크를 제공하지만, 기존 접근법은 근본적인 시뮬레이션-실제 간 딜레마에 직면합니다. 특권 상태 방법은 배포를 위해 손실 증류가 필요하고, 이미지 기반 방법은 시각 도메인 차이를 겪으며, 실제 세계 강화 학습은 비용이 많이 들고 안전하지 않습니다. 본 연구는 객체 포즈를 사용하여 VLA 행동을 정제하는 객체 중심 잔여 강화 학습 프레임워크를 제안하며, 이를 통해 시뮬레이션과 실제 간에 일관되게 전이되는 간결한 관찰 공간을 가능하게 합니다. 두 도메인을 정렬하기 위해, 동일한 원격 조작 시연을 시뮬레이션에서 재생하여 실제 세계 VLA의 시뮬레이션 대응 버전을 추가로 훈련합니다. 잔여 강화 학습 정책은 포즈 노이즈 주입과 드롭아웃을 적용한 시뮬레이션에서만 훈련되며, 제로샷으로 실제 로봇에 전이됩니다. 실제 Franka Research 3 (FR3) 로봇에서 다섯 가지 조작 작업을 통해, 본 방법은 성공률을 42%에서 76%로 제로샷 향상시켰으며, 개선된 롤아웃은 추가 원격 조작 없이 기본 VLA를 재훈련하여 자기 개선에 재사용될 수 있습니다. 프로젝트 페이지: https://www.microsoft.com/en-us/research/articles/object-centric-residual-rl/

English

Vision-Language-Action (VLA) models can generalize across diverse manipulation tasks, but their imitation-learning-based policies remain brittle in precise physical interactions due to compounding execution errors; Can a reinforcement learning policy trained purely in simulation improve the robustness of real-world VLAs zero-shot? Residual RL, which learns a corrective policy on top of a frozen VLA, offers a natural framework, but existing approaches face a fundamental sim-to-real dilemma: privileged-state methods require lossy distillation for deployment; image-based methods suffer from the visual domain gap; and real-world RL is costly and unsafe. We propose an object-centric residual RL framework that refines VLA actions using object poses, enabling a compact observation space that transfers consistently between simulation and reality. To align the two domains, we additionally replay the same teleoperation demonstrations in simulation to train a sim counterpart of the real-world VLA. The residual RL policy is trained only in simulation with pose noise injection and dropout, and transfers zero-shot to the real robot. Across five manipulation tasks on a real Franka Research 3 (FR3) robot, our method improves the success rate from 42% to 76% zero-shot, and the improved rollouts can be further reused to retrain the base VLA for self-improvement without additional teleoperation. Project page: https://www.microsoft.com/en-us/research/articles/object-centric-residual-rl/