Aritmética de Domínio: Adaptação VLA One-Shot sob Mudanças Ambientais

Resumo

Modelos Visão-Linguagem-Ação (VLA) frequentemente falham ao executar as mesmas tarefas aprendidas sob mudanças ambientais, como alterações na pose da câmera e migrações para um robô diferente, porém similar (por exemplo, de Panda para UR5e). Adaptar esses modelos ao ambiente modificado (ou seja, domínio alvo) geralmente exige treinamento com múltiplas demonstrações para cada tarefa, que são custosas de coletar. Para reduzir o ônus da curadoria de dados e do treinamento, propomos um método baseado em analogia que adapta modelos VLA sob mudanças ambientais por meio de aritmética de vetores de peso com adição de informações específicas do domínio, denominado Domain ARiThmetic (DART). Diferentemente de abordagens anteriores, o DART exige a coleta de apenas uma única demonstração, possibilitando uma adaptação eficiente. Para isolar com precisão as informações específicas do domínio a serem adicionadas, o DART realiza um alinhamento de subespaços entre componentes singulares nos vetores de peso, a fim de filtrar componentes ruidosos. Tanto em experimentos simulados quanto no mundo real, o DART supera os métodos existentes de adaptação de VLA em cenários de one-shot, abrangendo diversas mudanças visuais e de corporificação. O código está disponível em https://github.com/snumprlab/dart.

English

Vision-Language-Action (VLA) models often fail to perform the same learned tasks under environmental shifts, such as changes in camera pose and shifts to a different but similar robot (e.g., from Panda to UR5e). Adapting these models to the shifted environment (i.e., target domain) often requires training on multiple demonstrations for each task, which are costly to collect. To reduce the burden of data curation and training, we propose an analogy-based method that adapts VLA models under environmental shifts through weight vector arithmetic with domain-specific information addition, named Domain ARiThmetic (DART). Unlike prior approaches, DART requires collecting only a single demonstration, enabling efficient adaptation. To accurately isolate domain-specific information for addition, DART performs subspace alignment between singular components in weight vectors to filter out noisy components. In both simulated and real-world experiments, DART outperforms existing VLA adaptation methods in one-shot scenarios across diverse visual and embodiment shifts. Code is available at https://github.com/snumprlab/dart.