Apprendre à bouger avant d'apprendre à faire : pré-entraînement indépendant de la tâche pour les VLA

Résumé

Les modèles Vision-Langage-Action (VLA) sont fondamentalement limités par la rareté des démonstrations d'experts — des triplets d'observations, d'instructions et d'actions dont la collecte à grande échelle est coûteuse. Nous soutenons que ce goulot d'étranglement provient de la confusion entre deux objectifs d'apprentissage distincts : l'acquisition de la compétence physique (comment se déplacer) et l'acquisition de l'alignement sémantique (quoi faire). Crucialement, seul ce dernier nécessite une supervision linguistique. En nous appuyant sur cette Hypothèse de Décomposition, nous proposons le Pré-entraînement Agnostique aux Tâches (TAP), un cadre en deux étapes qui apprend d'abord des priors moteurs transférables à partir de données d'interaction non étiquetées et peu coûteuses — incluant des trajectoires hors tâche rejetées et le jeu autonome du robot — via un objectif de Dynamique Inverse auto-supervisé. Une seconde étape légère ancre ensuite ces priors dans le langage en utilisant un minimum de données d'experts. Sur le benchmark SIMPLER, TAP égalise les modèles entraînés sur plus d'un million de trajectoires d'experts tout en utilisant des ordres de grandeur moins de données étiquetées, produisant un gain absolu de 10 % par rapport au clonage de comportement standard. Sur une plateforme WidowX réelle, TAP conserve un taux de succès de 25 % sous des perturbations de la caméra alors que les références à l'échelle d'Internet s'effondrent à 0 %, démontrant que le pré-entraînement agnostique aux tâches produit des représentations physiques robustes et transférables, et offre une voie scalable pour l'IA Incarnée.

English

Vision-Language-Action (VLA) models are fundamentally bottlenecked by the scarcity of expert demonstrations -- triplets of observations, instructions, and actions that are costly to collect at scale. We argue that this bottleneck stems from conflating two distinct learning objectives: acquiring physical competence (how to move) and acquiring semantic alignment (what to do). Crucially, only the latter requires language supervision. Building on this Decomposition Hypothesis, we propose Task-Agnostic Pretraining (TAP), a two-stage framework that first learns transferable motor priors from cheap, unlabeled interaction data -- including discarded off-task trajectories and autonomous robot play -- via a self-supervised Inverse Dynamics objective. A lightweight second stage then grounds these priors in language using minimal expert data. On the SIMPLER benchmark, TAP matches models trained on over 1M expert trajectories while using orders of magnitude less labeled data, yielding a 10% absolute gain over standard behavior cloning. On a real-world WidowX platform, TAP retains 25% success under camera perturbations where internet-scale baselines collapse to 0%, demonstrating that task-agnostic pretraining produces robust, transferable physical representations and offers a scalable path forward for Embodied AI.