Domänenarithmetik: One-Shot-VLA-Anpassung unter Umgebungswechseln

Zusammenfassung

Vision-Language-Action (VLA)-Modelle scheitern häufig daran, erlernte Aufgaben unter Umgebungsverschiebungen auszuführen, wie etwa Änderungen der Kameraposition oder dem Wechsel zu einem anderen, aber ähnlichen Roboter (z. B. von Panda zu UR5e). Die Anpassung dieser Modelle an die verschobene Umgebung (d. h. die Ziel-Domäne) erfordert in der Regel das Training mit mehreren Demonstrationen pro Aufgabe, deren Sammlung kostenintensiv ist. Um den Aufwand der Datenerhebung und des Trainings zu reduzieren, schlagen wir eine analogiebasierte Methode vor, die VLA-Modelle unter Umgebungsverschiebungen durch Gewichtsvektor-Arithmetik mit domänenspezifischer Informationsaddition anpasst – genannt **Domain ARiThmetic (DART)**. Im Gegensatz zu früheren Ansätzen erfordert DART lediglich die Sammlung einer einzigen Demonstration, was eine effiziente Anpassung ermöglicht. Um domänenspezifische Informationen zur Addition präzise zu isolieren, führt DART eine Unterraum-Ausrichtung zwischen singulären Komponenten in Gewichtsvektoren durch, um verrauschte Komponenten herauszufiltern. In sowohl simulierten als auch realen Experimenten übertrifft DART bestehende VLA-Anpassungsmethoden in One-Shot-Szenarien bei unterschiedlichen visuellen und verkörperten Verschiebungen (Embodiment-Shifts). Der Code ist verfügbar unter https://github.com/snumprlab/dart.

English

Vision-Language-Action (VLA) models often fail to perform the same learned tasks under environmental shifts, such as changes in camera pose and shifts to a different but similar robot (e.g., from Panda to UR5e). Adapting these models to the shifted environment (i.e., target domain) often requires training on multiple demonstrations for each task, which are costly to collect. To reduce the burden of data curation and training, we propose an analogy-based method that adapts VLA models under environmental shifts through weight vector arithmetic with domain-specific information addition, named Domain ARiThmetic (DART). Unlike prior approaches, DART requires collecting only a single demonstration, enabling efficient adaptation. To accurately isolate domain-specific information for addition, DART performs subspace alignment between singular components in weight vectors to filter out noisy components. In both simulated and real-world experiments, DART outperforms existing VLA adaptation methods in one-shot scenarios across diverse visual and embodiment shifts. Code is available at https://github.com/snumprlab/dart.