MA-VLA: 協調と構成的一般化のためのマルチアーム視覚言語行動モデル

要旨

マルチアーム協調は、身体化操作における中核的な能力になりつつある。最近の視覚言語行動（VLA）モデルは、知覚・言語・制御を統合するが、そのほとんどは言語を単一の全体的な指示として表現し、アーム固有の行動を割り当てて構成するための明示的なメカニズムを提供しない。この設計は、訓練中に観察されたものとは異なる協調パターンへの転移を制限する。我々は、原子行動割り当てによるマルチアーム協調のための統一フレームワークMA-VLAを提案する。MA-VLAは協調行動を中間レベルの原子プロンプトに分解し、それらを個々のアームに割り当てることで、明示的なサブゴール指定とタスク横断的な構成再利用を可能にする。固定された実行役割への依存を減らすために、我々はアームシャッフルを導入する。これは、各アームの観測、状態、および割り当てられた原子プロンプトを訓練時に置換する手法である。この置換により、役割に依存しない指示追従が強化され、未見の協調パターンへの再構成が支援される。我々はこれをマルチアーム構成汎化と呼ぶ。また、テスト時の協調パターンが訓練セットに存在しないベンチマークを構築する。シミュレーションと実世界の評価を通じて、従来の最先端VLAモデルはこれらの未見の協調パターンの下ではほとんど失敗する一方、MA-VLAは一貫して成功する。これらの結果は、構造化されたアームごとの原子行動割り当てが、マルチアーム身体化システムにおけるスケーラブルな汎化への実用的な経路を提供することを示している。コード、モデル、データはhttps://github.com/zhangzaibin/future-robotsで入手できる。

English

Multi-arm collaboration is becoming a core capability in embodied manipulation. Recent vision-language-action (VLA) models integrate perception, language, and control, but most represent language as a single global instruction and do not provide an explicit mechanism for assigning and composing arm-specific behaviors. This design limits transfer to collaboration patterns that differ from those observed during training. We present MA-VLA, a unified framework for multi-arm collaboration via atomic action assignment. MA-VLA decomposes cooperative behavior into mid-level atomic prompts and allocates them to individual arms, enabling explicit subgoal specification and compositional reuse across tasks. To reduce reliance on fixed execution roles, we introduce Arm Shuffle, a training-time permutation of the observation, state, and assigned atomic prompts for each arm. This permutation enforces role-agnostic instruction following and supports recomposition into unseen coordination patterns, which we term multi-arm compositional generalization. We also construct a benchmark in which test-time collaboration patterns are absent in training set. Across simulation and real-world evaluations, prior state-of-the-art VLAs largely fail under these unseen collaborations, while MA-VLA consistently succeeds. These results indicate that structured, per-arm atomic action assignment offers a practical route to scalable generalization in multi-arm embodied systems. Code, models, and data are available at https://github.com/zhangzaibin/future-robots