Объектно-центрированное остаточное RL для улучшения VLA с нулевым переносом из симуляции в реальность

Аннотация

Модели зрительно-языковых-действий (VLA) способны обобщать знания на разнообразные манипуляционные задачи, однако их политики, основанные на имитационном обучении, остаются хрупкими при точных физических взаимодействиях из-за накапливающихся ошибок выполнения; может ли политика обучения с подкреплением, обученная исключительно в симуляции, улучшить устойчивость реальных VLA при нулевом переносе? Остаточное обучение с подкреплением (Residual RL), которое обучает корректирующую политику поверх замороженной VLA, предлагает естественную основу, но существующие подходы сталкиваются с фундаментальной дилеммой переноса из симуляции в реальность: методы с привилегированными состояниями требуют потерь при дистилляции для развертывания; методы, основанные на изображениях, страдают от визуального разрыва между доменами; а обучение с подкреплением в реальном мире дорого и небезопасно. Мы предлагаем объектно-ориентированную структуру остаточного обучения с подкреплением, которая уточняет действия VLA, используя позы объектов, что обеспечивает компактное пространство наблюдений, согласованно переносимое между симуляцией и реальностью. Для выравнивания двух доменов мы дополнительно воспроизводим те же демонстрации телеуправления в симуляции, чтобы обучить симуляционный аналог реальной VLA. Политика остаточного обучения с подкреплением обучается только в симуляции с добавлением шума к позам и отсевом (dropout) и переносится с нулевым переносом на реального робота. На пяти манипуляционных задачах с реальным роботом Franka Research 3 (FR3) наш метод улучшает показатель успешности с 42% до 76% при нулевом переносе, а улучшенные прогоны могут быть повторно использованы для переобучения базовой VLA с целью самосовершенствования без дополнительного телеуправления. Страница проекта: https://www.microsoft.com/en-us/research/articles/object-centric-residual-rl/

English

Vision-Language-Action (VLA) models can generalize across diverse manipulation tasks, but their imitation-learning-based policies remain brittle in precise physical interactions due to compounding execution errors; Can a reinforcement learning policy trained purely in simulation improve the robustness of real-world VLAs zero-shot? Residual RL, which learns a corrective policy on top of a frozen VLA, offers a natural framework, but existing approaches face a fundamental sim-to-real dilemma: privileged-state methods require lossy distillation for deployment; image-based methods suffer from the visual domain gap; and real-world RL is costly and unsafe. We propose an object-centric residual RL framework that refines VLA actions using object poses, enabling a compact observation space that transfers consistently between simulation and reality. To align the two domains, we additionally replay the same teleoperation demonstrations in simulation to train a sim counterpart of the real-world VLA. The residual RL policy is trained only in simulation with pose noise injection and dropout, and transfers zero-shot to the real robot. Across five manipulation tasks on a real Franka Research 3 (FR3) robot, our method improves the success rate from 42% to 76% zero-shot, and the improved rollouts can be further reused to retrain the base VLA for self-improvement without additional teleoperation. Project page: https://www.microsoft.com/en-us/research/articles/object-centric-residual-rl/