EXIMO：VLMによるVLAポリシーの誘導探索

要旨

ロボットポリシーを効率的に微調整し、新しいタスクをその場で学習するにはどうすればよいか？最先端のロボット操作ポリシーは、大規模なテレオペレーションデータセット上で数十億のパラメータを持つ大規模視覚言語行動（VLA）モデルを行動クローニングすることに基づいています。この単純なアプローチはロボット操作における顕著な進歩を可能にしてきましたが、新しいタスクを学習するためのVLAポリシーの微調整は依然として未解決の問題です。特に、テレオペレーションデータセットの収集には何百時間もの高価な人手が必要であり、代替手段である強化学習（RL）は、特に長期的なタスクにおいてサンプル効率が悪いことで知られています。さらに、RLをVLAに適用する場合、モデルのサイズとアーキテクチャ設計に起因するいくつかの課題が生じます。本研究では、VLAポリシーの微調整のための効率的なアルゴリズムであるEXIMOを提案します。EXIMOは、探索（explore）、模倣（imitate）、最適化（optimize）の3つの段階で動作します。探索段階では、EXIMOはVLAにプランナーとして機能する視覚言語モデル（VLM）を装備します。VLMは思考し、困難な長期的問題をVLAにとってより短い問題に分解します。VLMはVLAとともに、新しいタスクに関する組織化されたデータセットを収集するために使用されます。模倣段階では、VLAは組織化されたデータを用いて微調整されます。最後に、最適化段階では、残差オフポリシーRLを用いてポリシーをさらに微調整します。我々の実験では、EXIMOの3つの段階すべてをアブレーションし、サンプル効率と最終性能の点で既存手法を大幅に上回ることを示します。

English

How to efficiently finetune robot policies to learn new tasks on the fly? State of the art robotic manipulation policies are based on behaviour cloning of large vision-language-action (VLA) models with billions of parameters on huge teleoperation datasets. While this simple approach has enabled significant advances for robotic manipulation, finetuning of VLA policies for learning new tasks still remains an open problem. In particular, collecting teleoperation datasets requires hundreds of hours of expensive human labour and the alternative, reinforcement learning (RL), can be notoriously sample-inefficient especially for long-horizon tasks. In addition, RL with VLAs imposes several challenges due to the model's size and architectural design. In this work, we propose EXIMO, an efficient algorithm for finetuning of VLA policies. EXIMO operates in three stages: explore, imitate, and optimize. During the explore phase, EXIMO equips the VLA with a vision language model (VLM) that acts as a planner. The VLM thinks and breaks down challenging long-horizon problems into shorter ones for the VLA. The VLM, together with the VLA, is used to collect an orchestrated dataset on new tasks. During the imitate phase, the VLA is finetuned with the orchestrated data. Finally, during the optimize stage, we use residual off-policy RL to further finetune the policy. In our experiments, we ablate all three stages of EXIMO and show that it outperforms existing approaches significantly in terms of sample-efficiency and final performance.