Обучение движению перед обучением действию: задаче-независимое предобучение для VLA

Аннотация

Модели Vision-Language-Action (VLA) фундаментально ограничены нехваткой экспертных демонстраций — троек наблюдений, инструкций и действий, сбор которых в больших масштабах требует значительных затрат. Мы утверждаем, что это узкое место проистекает из смешения двух различных целей обучения: приобретения физической компетенции (как двигаться) и приобретения семантического согласования (что делать). Ключевой момент заключается в том, что только вторая цель требует языкового сопровождения. Основываясь на этой Гипотезе Декомпозиции, мы предлагаем Задачно-Агностическое Предобучение (TAP) — двухэтапную структуру, которая сначала изучает переносимые моторные приоры из дешевых, неразмеченных данных взаимодействия, включая отброшенные внезадачные траектории и автономную игру робота, с помощью самообучаемой цели обратной динамики. Легковесный второй этап затем привязывает эти приоры к языку, используя минимальные экспертные данные. На эталоне SIMPLER модель TAP сопоставима с моделями, обученными на более чем 1 миллионе экспертных траекторий, при использовании на порядки меньшего количества размеченных данных, что дает абсолютный прирост в 10% по сравнению со стандартным клонированием поведения. На реальной платформе WidowX модель TAP сохраняет 25% успешности при возмущениях камеры, где базовые модели интернет-масштаба падают до 0%, демонстрируя, что задачно-агностическое предобучение создает устойчивые, переносимые физические представления и предлагает масштабируемый путь для воплощенного ИИ.

English

Vision-Language-Action (VLA) models are fundamentally bottlenecked by the scarcity of expert demonstrations -- triplets of observations, instructions, and actions that are costly to collect at scale. We argue that this bottleneck stems from conflating two distinct learning objectives: acquiring physical competence (how to move) and acquiring semantic alignment (what to do). Crucially, only the latter requires language supervision. Building on this Decomposition Hypothesis, we propose Task-Agnostic Pretraining (TAP), a two-stage framework that first learns transferable motor priors from cheap, unlabeled interaction data -- including discarded off-task trajectories and autonomous robot play -- via a self-supervised Inverse Dynamics objective. A lightweight second stage then grounds these priors in language using minimal expert data. On the SIMPLER benchmark, TAP matches models trained on over 1M expert trajectories while using orders of magnitude less labeled data, yielding a 10% absolute gain over standard behavior cloning. On a real-world WidowX platform, TAP retains 25% success under camera perturbations where internet-scale baselines collapse to 0%, demonstrating that task-agnostic pretraining produces robust, transferable physical representations and offers a scalable path forward for Embodied AI.