表現アンカリングと言語-行動アラインメントによる汎化可能なVLAファインチューニング

要旨

事前学習済みの視覚言語モデル（VLM）を行動クローニング（BC）によりロボットのデモンストレーションでファインチューニングすることは、視覚言語行動（VLA）ポリシーの標準的な手法となっている。しかし、BCによるファインチューニングは、視覚的・意味的一般化を支える事前学習済み表現を徐々に上書きしてしまう。一般的な対策であるWeb上の画像テキストデータを用いた共学習はこれを防げず、異なる観測に対して言語損失と行動損失を適用するため、VLAには標準的な操作ベンチマークでは露呈されない言語行動のミスアライメントが生じる。我々はAnchor-Alignを提案する。これはBCに2つの目的関数を追加するものである。すなわち、Vision-Language Anchoringは凍結されたVLMコピーから層ごとの表現を抽出してこのドリフトを防ぎ、Language-Action Alignmentは各行動目標を離散的な運動方向ラベルに変換し、同一のロボット観測に対して言語予測と行動予測を共学習する。実機のxArm7ロボットにおいて、広く使われる2種類のVLAアーキテクチャでAnchor-Alignは実ロボット成功率を向上させた（28%→54%、37%→60%）。シミュレーションでの大規模実験では、LIBERO-PRO、LIBERO-Plus、CALVINにおいて、OOD摂動、知覚的ロバスト性、長期制御のそれぞれで一貫した改善を示し、事前学習表現の保持と効果的な行動学習が根本的に対立するものではないことを示唆する。プロジェクトページ: anchoralignvla.github.io

English

Finetuning a pretrained vision-language model (VLM) on robot demonstrations via behavior cloning (BC) has become the standard recipe for vision-language-action (VLA) policies. However, BC finetuning progressively overwrites the pretrained representations that support visual and semantic generalization. Co-training on web image-text data, a common remedy, does not prevent this; it applies language and action losses to separate observations, leaving VLAs with language-action misalignment that standard manipulation benchmarks do not expose. We propose Anchor-Align, which augments BC with two objectives: Vision-Language Anchoring distills layer-wise representations from a frozen VLM copy to prevent this drift, while Language-Action Alignment converts each action target into a discrete motion-direction label and jointly trains language and action prediction on the same robot observation. On a physical xArm7 robot, across two widely used VLA architectures, Anchor-Align improves real-robot success on both (28% to 54% and 37% to 60%). At scale in simulation, we demonstrate consistent improvements on OOD perturbations, perceptual robustness, and long-horizon control across LIBERO-PRO, LIBERO-Plus, and CALVIN, respectively, suggesting that preserving pretrained representations and effective action learning are not fundamentally at odds. Project page: anchoralignvla.github.io