EXIMO: VLA 정책의 VLM 유도 탐색

초록

로봇 정책을 효율적으로 미세 조정하여 새로운 작업을 즉시 학습하는 방법은 무엇인가? 최첨단 로봇 조작 정책은 방대한 원격 조작 데이터셋에서 수십억 개의 매개변수를 가진 대규모 비전-언어-행동(VLA) 모델을 행동 복제하는 방식에 기반한다. 이 단순한 접근 방식이 로봇 조작 분야의 상당한 발전을 가능하게 했지만, 새로운 작업을 학습하기 위한 VLA 정책의 미세 조정은 여전히 미해결 문제로 남아 있다. 특히 원격 조작 데이터셋을 수집하려면 수백 시간에 달하는 고비용의 인간 노동이 필요하며, 대안인 강화 학습(RL)은 특히 장기 지평 작업에서 샘플 효율성이 매우 낮은 것으로 악명 높다. 또한 VLA에 RL을 적용하는 것은 모델의 크기와 아키텍처 설계로 인해 여러 가지 도전 과제를 야기한다. 본 연구에서는 VLA 정책의 미세 조정을 위한 효율적인 알고리즘인 EXIMO를 제안한다. EXIMO는 탐색, 모방, 최적화의 세 단계로 작동한다. 탐색 단계에서 EXIMO는 VLA에 플래너 역할을 하는 비전-언어 모델(VLM)을 장착한다. VLM은 추론을 통해 도전적인 장기 지평 문제를 VLA가 처리할 수 있는 더 짧은 하위 문제들로 분해한다. VLM은 VLA와 함께 새로운 작업에 대한 조율된 데이터셋을 수집하는 데 사용된다. 모방 단계에서는 조율된 데이터로 VLA를 미세 조정한다. 마지막으로 최적화 단계에서는 잔여 오프-폴리시 강화 학습을 사용하여 정책을 추가로 미세 조정한다. 실험을 통해 EXIMO의 세 단계를 모두 절제하여 평가했으며, 제안한 방법이 샘플 효율성과 최종 성능 측면에서 기존 접근법들을 크게 능가함을 보여준다.

English

How to efficiently finetune robot policies to learn new tasks on the fly? State of the art robotic manipulation policies are based on behaviour cloning of large vision-language-action (VLA) models with billions of parameters on huge teleoperation datasets. While this simple approach has enabled significant advances for robotic manipulation, finetuning of VLA policies for learning new tasks still remains an open problem. In particular, collecting teleoperation datasets requires hundreds of hours of expensive human labour and the alternative, reinforcement learning (RL), can be notoriously sample-inefficient especially for long-horizon tasks. In addition, RL with VLAs imposes several challenges due to the model's size and architectural design. In this work, we propose EXIMO, an efficient algorithm for finetuning of VLA policies. EXIMO operates in three stages: explore, imitate, and optimize. During the explore phase, EXIMO equips the VLA with a vision language model (VLM) that acts as a planner. The VLM thinks and breaks down challenging long-horizon problems into shorter ones for the VLA. The VLM, together with the VLA, is used to collect an orchestrated dataset on new tasks. During the imitate phase, the VLA is finetuned with the orchestrated data. Finally, during the optimize stage, we use residual off-policy RL to further finetune the policy. In our experiments, we ablate all three stages of EXIMO and show that it outperforms existing approaches significantly in terms of sample-efficiency and final performance.