행동보다 움직임을 먼저 배우기: VLA를 위한 과제 무관 사전 학습

초록

시각-언어-행동(VLA) 모델은 근본적으로 전문가 시연의 부족이라는 병목 현상에 직면해 있다. 전문가 시연은 관측, 명령, 행동의 삼중항으로 구성되며 이를 대규모로 수집하는 데는 높은 비용이 든다. 본 연구는 이러한 병목 현상이 두 가지 별개의 학습 목표, 즉 물리적 능력(움직이는 방법) 획득과 의미적 정렬(무엇을 해야 하는지) 획득을 혼동한 데서 비롯된다고 주장한다. 결정적으로, 후자만이 언어 감독을 필요로 한다. 이러한 분해 가설에 기반하여, 본 논문은 작업 무관 사전 학습(TAP)이라는 두 단계 프레임워크를 제안한다. 첫 번째 단계에서는 폐기된 오프태스크 궤적 및 자율 로봇 플레이 등 저렴하고 레이블이 없는 상호작용 데이터로부터 자기 지도 역동역학 목표 함수를 통해 전이 가능한 운동 사전 지식을 학습한다. 두 번째 단계는 가벼운 구조로, 최소한의 전문가 데이터를 사용하여 이러한 사전 지식을 언어에 기반시킨다. SIMPLER 벤치마크에서 TAP은 100만 개 이상의 전문가 궤적을 사용하여 학습된 모델과 동등한 성능을 달성하면서도 훨씬 적은 양의 레이블 데이터를 사용하며, 표준 행동 복제 대비 10%의 절대적 성능 향상을 보인다. 실제 환경의 WidowX 플랫폼에서 TAP은 카메라 교란 상황에서도 25%의 성공률을 유지하는 반면, 인터넷 규모의 기준선은 0%로 붕괴한다. 이는 작업 무관 사전 학습이 강건하고 전이 가능한 물리적 표현을 생성하며, 구현된 AI를 위한 확장 가능한 경로를 제공함을 입증한다.

English

Vision-Language-Action (VLA) models are fundamentally bottlenecked by the scarcity of expert demonstrations -- triplets of observations, instructions, and actions that are costly to collect at scale. We argue that this bottleneck stems from conflating two distinct learning objectives: acquiring physical competence (how to move) and acquiring semantic alignment (what to do). Crucially, only the latter requires language supervision. Building on this Decomposition Hypothesis, we propose Task-Agnostic Pretraining (TAP), a two-stage framework that first learns transferable motor priors from cheap, unlabeled interaction data -- including discarded off-task trajectories and autonomous robot play -- via a self-supervised Inverse Dynamics objective. A lightweight second stage then grounds these priors in language using minimal expert data. On the SIMPLER benchmark, TAP matches models trained on over 1M expert trajectories while using orders of magnitude less labeled data, yielding a 10% absolute gain over standard behavior cloning. On a real-world WidowX platform, TAP retains 25% success under camera perturbations where internet-scale baselines collapse to 0%, demonstrating that task-agnostic pretraining produces robust, transferable physical representations and offers a scalable path forward for Embodied AI.