도메인 연산: 환경 변화 하에서의 원샷 VLA 적응

초록

비전-언어-행동(VLA) 모델은 카메라 포즈 변경, 유사하지만 다른 로봇으로의 전환(예: Panda에서 UR5e로)과 같은 환경 변화 하에서 학습된 동일한 작업을 수행하지 못하는 경우가 많다. 변화된 환경(즉, 대상 도메인)에 이러한 모델을 적응시키기 위해서는 각 작업에 대해 여러 시연(demonstration)에 대한 훈련이 필요하며, 이는 수집 비용이 높다. 데이터 수집 및 훈련의 부담을 줄이기 위해, 우리는 도메인 특정 정보 추가를 통한 가중치 벡터 연산(weight vector arithmetic)을 사용하여 환경 변화 하에서 VLA 모델을 적응시키는 유추 기반 방법인 Domain ARiThmetic(DART)을 제안한다. 기존 접근법과 달리 DART는 단 한 번의 시연만 수집하면 되므로 효율적인 적응이 가능하다. 추가할 도메인 특정 정보를 정확하게 분리하기 위해 DART는 가중치 벡터의 특이 성분(singular components) 간 부분공간 정렬(subspace alignment)을 수행하여 잡음 성분을 걸러낸다. 시뮬레이션 및 실제 환경 실험 모두에서 DART는 다양한 시각적 변화 및 에이전트 변화(embodiment shifts)에 걸쳐 원샷(one-shot) 시나리오에서 기존 VLA 적응 방법보다 우수한 성능을 보인다. 코드는 https://github.com/snumprlab/dart에서 확인할 수 있다.

English

Vision-Language-Action (VLA) models often fail to perform the same learned tasks under environmental shifts, such as changes in camera pose and shifts to a different but similar robot (e.g., from Panda to UR5e). Adapting these models to the shifted environment (i.e., target domain) often requires training on multiple demonstrations for each task, which are costly to collect. To reduce the burden of data curation and training, we propose an analogy-based method that adapts VLA models under environmental shifts through weight vector arithmetic with domain-specific information addition, named Domain ARiThmetic (DART). Unlike prior approaches, DART requires collecting only a single demonstration, enabling efficient adaptation. To accurately isolate domain-specific information for addition, DART performs subspace alignment between singular components in weight vectors to filter out noisy components. In both simulated and real-world experiments, DART outperforms existing VLA adaptation methods in one-shot scenarios across diverse visual and embodiment shifts. Code is available at https://github.com/snumprlab/dart.