MA-VLA: 협업 및 구성적 일반화를 위한 다중 팔 비전-언어-행동 모델

초록

다중 팔 협업은 구현 조작(embodied manipulation)에서 핵심 역량으로 부상하고 있다. 최근 비전-언어-행동(VLA) 모델은 지각, 언어, 제어를 통합하지만, 대부분의 모델은 언어를 단일 전역 명령으로 표현할 뿐 팔별 행동을 할당하고 조합하는 명시적 메커니즘을 제공하지 않는다. 이러한 설계는 학습 중 관찰된 패턴과 다른 협업 패턴으로의 전이를 제한한다. 본 논문에서는 원자적 행동 할당(atomic action assignment)을 통한 다중 팔 협업의 통합 프레임워크인 MA-VLA를 제시한다. MA-VLA는 협력적 행동을 중간 수준의 원자적 프롬프트로 분해하고 이를 개별 팔에 할당하여, 명시적 하위 목표 지정과 작업 간 구성적 재사용을 가능하게 한다. 고정된 실행 역할에 대한 의존성을 줄이기 위해, 각 팔의 관측, 상태, 할당된 원자적 프롬프트를 학습 시 순열 변환하는 Arm Shuffle을 도입한다. 이 순열 변환은 역할 무관 명령 수행을 강제하고, 관찰되지 않은 조정 패턴으로의 재구성을 지원하며, 이를 다중 팔 구성적 일반화(multi-arm compositional generalization)라고 명명한다. 또한 테스트 시 협업 패턴이 학습 세트에 존재하지 않는 벤치마크를 구축한다. 시뮬레이션 및 실세계 평가 전반에 걸쳐, 기존 최첨단 VLA 모델들은 이러한 미지의 협업 상황에서 대체로 실패하는 반면, MA-VLA는 일관되게 성공한다. 이러한 결과는 구조화된 팔별 원자적 행동 할당이 다중 팔 구현 시스템에서 확장 가능한 일반화를 위한 실용적 경로를 제공함을 시사한다. 코드, 모델, 데이터는 https://github.com/zhangzaibin/future-robots에서 확인할 수 있다.

English

Multi-arm collaboration is becoming a core capability in embodied manipulation. Recent vision-language-action (VLA) models integrate perception, language, and control, but most represent language as a single global instruction and do not provide an explicit mechanism for assigning and composing arm-specific behaviors. This design limits transfer to collaboration patterns that differ from those observed during training. We present MA-VLA, a unified framework for multi-arm collaboration via atomic action assignment. MA-VLA decomposes cooperative behavior into mid-level atomic prompts and allocates them to individual arms, enabling explicit subgoal specification and compositional reuse across tasks. To reduce reliance on fixed execution roles, we introduce Arm Shuffle, a training-time permutation of the observation, state, and assigned atomic prompts for each arm. This permutation enforces role-agnostic instruction following and supports recomposition into unseen coordination patterns, which we term multi-arm compositional generalization. We also construct a benchmark in which test-time collaboration patterns are absent in training set. Across simulation and real-world evaluations, prior state-of-the-art VLAs largely fail under these unseen collaborations, while MA-VLA consistently succeeds. These results indicate that structured, per-arm atomic action assignment offers a practical route to scalable generalization in multi-arm embodied systems. Code, models, and data are available at https://github.com/zhangzaibin/future-robots