Aritmética de Dominio: Adaptación VLA de un solo disparo ante Cambios Ambientales

Resumen

Los modelos Visión-Lenguaje-Acción (VLA) a menudo fallan al ejecutar las mismas tareas aprendidas bajo cambios de entorno, como modificaciones en la pose de la cámara o transiciones a un robot similar pero diferente (por ejemplo, de Panda a UR5e). Adaptar estos modelos al entorno modificado (i.e., dominio objetivo) suele requerir entrenamiento con múltiples demostraciones para cada tarea, lo cual es costoso de recolectar. Para reducir la carga de recopilación de datos y entrenamiento, proponemos un método basado en analogías que adapta modelos VLA bajo cambios de entorno mediante aritmética de vectores de pesos con adición de información específica del dominio, denominado Domain ARiThmetic (DART). A diferencia de enfoques previos, DART solo necesita recolectar una única demostración, permitiendo una adaptación eficiente. Para aislar con precisión la información específica del dominio que se añade, DART realiza una alineación de subespacios entre componentes singulares en los vectores de pesos para filtrar componentes ruidosos. Tanto en experimentos simulados como en el mundo real, DART supera a los métodos existentes de adaptación VLA en escenarios de una sola demostración ante diversos cambios visuales y de encarnación. El código está disponible en https://github.com/snumprlab/dart.

English

Vision-Language-Action (VLA) models often fail to perform the same learned tasks under environmental shifts, such as changes in camera pose and shifts to a different but similar robot (e.g., from Panda to UR5e). Adapting these models to the shifted environment (i.e., target domain) often requires training on multiple demonstrations for each task, which are costly to collect. To reduce the burden of data curation and training, we propose an analogy-based method that adapts VLA models under environmental shifts through weight vector arithmetic with domain-specific information addition, named Domain ARiThmetic (DART). Unlike prior approaches, DART requires collecting only a single demonstration, enabling efficient adaptation. To accurately isolate domain-specific information for addition, DART performs subspace alignment between singular components in weight vectors to filter out noisy components. In both simulated and real-world experiments, DART outperforms existing VLA adaptation methods in one-shot scenarios across diverse visual and embodiment shifts. Code is available at https://github.com/snumprlab/dart.