ドメイン算術: 環境変化下におけるワンショットVLA適応

要旨

視覚・言語・行動（VLA）モデルは、カメラ姿勢の変化や、類似した異なるロボット（例：PandaからUR5eへの変更）への移行といった環境変化下で、学習した同一のタスクを実行できないことがよくあります。これらのモデルを変化後の環境（すなわち、ターゲットドメイン）に適応させるには、通常、各タスクに対して複数のデモンストレーションを用いた訓練が必要であり、その収集にはコストがかかります。データのキュレーションと訓練の負担を軽減するため、我々は、ドメイン固有情報を追加する重みベクトル演算を用いて環境変化下でVLAモデルを適応させるアナロジーベースの手法、Domain ARiThmetic（DART）を提案します。従来の手法とは異なり、DARTはたった一つのデモンストレーションの収集のみで済み、効率的な適応を可能にします。追加するドメイン固有情報を正確に分離するため、DARTは重みベクトル内の特異成分間で部分空間アライメントを行い、ノイズ成分を除去します。シミュレーション環境および実世界実験の両方において、DARTは多様な視覚的・身体的变化にわたるワンショットシナリオで、既存のVLA適応手法を上回る性能を示しました。コードは https://github.com/snumprlab/dart で公開されています。

English

Vision-Language-Action (VLA) models often fail to perform the same learned tasks under environmental shifts, such as changes in camera pose and shifts to a different but similar robot (e.g., from Panda to UR5e). Adapting these models to the shifted environment (i.e., target domain) often requires training on multiple demonstrations for each task, which are costly to collect. To reduce the burden of data curation and training, we propose an analogy-based method that adapts VLA models under environmental shifts through weight vector arithmetic with domain-specific information addition, named Domain ARiThmetic (DART). Unlike prior approaches, DART requires collecting only a single demonstration, enabling efficient adaptation. To accurately isolate domain-specific information for addition, DART performs subspace alignment between singular components in weight vectors to filter out noisy components. In both simulated and real-world experiments, DART outperforms existing VLA adaptation methods in one-shot scenarios across diverse visual and embodiment shifts. Code is available at https://github.com/snumprlab/dart.