「行う」ことを学ぶ前に「動く」ことを学ぶ：VLAのためのタスク非依存事前学習

要旨

Vision-Language-Action（VLA）モデルは、専門家によるデモンストレーション、すなわち観察、指示、行動の三つ組データの不足によって根本的に制約を受けている。これらのデータは大規模に収集するにはコストがかかる。本稿では、この制約が物理的スキル（どのように動くか）の獲得と意味的アライメント（何をすべきか）の獲得という、二つの異なる学習目標を混同していることに起因すると主張する。重要なことに、後者のみが言語による教師信号を必要とする。この「分解仮説」に基づき、我々は「タスク非依存事前学習（TAP）」を提案する。これは二段階のフレームワークであり、第一段階では、自己教師ありの逆動力学目的関数を用いて、破棄されたオフタスク軌道や自律型ロボットのプレイなど、安価でラベルなしの相互作用データから転移可能な運動事前知識を学習する。第二段階では、軽量な学習により、最小限の専門家データを用いてこれらの事前知識を言語に接地させる。SIMPLERベンチマークにおいて、TAPは100万件以上の専門家軌道で学習したモデルと同等の性能を達成しつつ、ラベル付きデータを桁違いに少なく使用し、標準的な行動クローニングに対して絶対値で10%の向上を示した。実世界のWidowXプラットフォームでは、カメラの摂動下でTAPは25%の成功率を維持したのに対し、大規模インターネットベースのベースラインモデルは0%に低下した。これは、タスク非依存の事前学習が頑健で転移可能な物理的表現を生成し、身体化AIにとってスケーラブルな道筋を提供することを実証している。

English

Vision-Language-Action (VLA) models are fundamentally bottlenecked by the scarcity of expert demonstrations -- triplets of observations, instructions, and actions that are costly to collect at scale. We argue that this bottleneck stems from conflating two distinct learning objectives: acquiring physical competence (how to move) and acquiring semantic alignment (what to do). Crucially, only the latter requires language supervision. Building on this Decomposition Hypothesis, we propose Task-Agnostic Pretraining (TAP), a two-stage framework that first learns transferable motor priors from cheap, unlabeled interaction data -- including discarded off-task trajectories and autonomous robot play -- via a self-supervised Inverse Dynamics objective. A lightweight second stage then grounds these priors in language using minimal expert data. On the SIMPLER benchmark, TAP matches models trained on over 1M expert trajectories while using orders of magnitude less labeled data, yielding a 10% absolute gain over standard behavior cloning. On a real-world WidowX platform, TAP retains 25% success under camera perturbations where internet-scale baselines collapse to 0%, demonstrating that task-agnostic pretraining produces robust, transferable physical representations and offers a scalable path forward for Embodied AI.