Arithmétique de domaine : Adaptation VLA one-shot sous des changements environnementaux

Résumé

Les modèles Vision-Langage-Action (VLA) échouent souvent à exécuter les mêmes tâches apprises en cas de changements environnementaux, tels que des modifications de la pose de la caméra ou le passage à un robot différent mais similaire (par exemple, de Panda à UR5e). Adapter ces modèles à l'environnement modifié (c'est-à-dire le domaine cible) nécessite généralement un entraînement sur de multiples démonstrations pour chaque tâche, dont la collecte est coûteuse. Afin de réduire la charge de curation et d'entraînement des données, nous proposons une méthode basée sur l'analogie qui adapte les modèles VLA face aux changements environnementaux par le biais d'une arithmétique des vecteurs de poids avec ajout d'informations spécifiques au domaine, nommée Domain ARiThmetic (DART). Contrairement aux approches antérieures, DART nécessite la collecte d'une seule démonstration, permettant ainsi une adaptation efficace. Pour isoler avec précision les informations spécifiques au domaine à ajouter, DART effectue un alignement de sous-espaces entre les composantes singulières des vecteurs de poids afin de filtrer les composantes bruyantes. Dans des expériences tant simulées que réelles, DART surpasse les méthodes existantes d'adaptation VLA dans des scénarios à un seul exemple, pour divers changements visuels et d'incarnation. Le code est disponible à l'adresse https://github.com/snumprlab/dart.

English

Vision-Language-Action (VLA) models often fail to perform the same learned tasks under environmental shifts, such as changes in camera pose and shifts to a different but similar robot (e.g., from Panda to UR5e). Adapting these models to the shifted environment (i.e., target domain) often requires training on multiple demonstrations for each task, which are costly to collect. To reduce the burden of data curation and training, we propose an analogy-based method that adapts VLA models under environmental shifts through weight vector arithmetic with domain-specific information addition, named Domain ARiThmetic (DART). Unlike prior approaches, DART requires collecting only a single demonstration, enabling efficient adaptation. To accurately isolate domain-specific information for addition, DART performs subspace alignment between singular components in weight vectors to filter out noisy components. In both simulated and real-world experiments, DART outperforms existing VLA adaptation methods in one-shot scenarios across diverse visual and embodiment shifts. Code is available at https://github.com/snumprlab/dart.