Aprender a moverse antes de aprender a hacer: Preentrenamiento agnóstico de tareas para VLAs

Resumen

Los modelos de Visión-Lenguaje-Acción (VLA) presentan un cuello de botella fundamental debido a la escasez de demostraciones de expertos —tripletes de observaciones, instrucciones y acciones cuyo costo de recolección a gran escala es elevado—. Sostenemos que este cuello de botella surge de la confusión entre dos objetivos de aprendizaje distintos: adquirir competencia física (cómo moverse) y adquirir alineación semántica (qué hacer). De manera crucial, solo este último requiere supervisión lingüística. Basándonos en esta Hipótesis de Descomposición, proponemos el Preentrenamiento Agnóstico a la Tarea (TAP), un marco de dos etapas que primero aprende prioridades motoras transferibles a partir de datos de interacción no etiquetados y de bajo costo —incluyendo trayectorias descartadas fuera de la tarea y juego autónomo del robot— mediante un objetivo de Dinámica Inversa autosupervisado. Una segunda etapa ligera ancla entonces estas prioridades en el lenguaje utilizando datos mínimos de expertos. En el punto de referencia SIMPLER, TAP iguala a modelos entrenados con más de 1M de trayectorias de expertos mientras utiliza órdenes de magnitud menos datos etiquetados, lo que produce una mejora absoluta del 10% sobre la clonación de comportamiento estándar. En una plataforma WidowX del mundo real, TAP mantiene un 25% de éxito bajo perturbaciones de cámara donde las líneas de base a escala de Internet colapsan al 0%, demostrando que el preentrenamiento agnóstico a la tarea genera representaciones físicas robustas y transferibles, y ofrece un camino escalable para la IA Encarnada.

English

Vision-Language-Action (VLA) models are fundamentally bottlenecked by the scarcity of expert demonstrations -- triplets of observations, instructions, and actions that are costly to collect at scale. We argue that this bottleneck stems from conflating two distinct learning objectives: acquiring physical competence (how to move) and acquiring semantic alignment (what to do). Crucially, only the latter requires language supervision. Building on this Decomposition Hypothesis, we propose Task-Agnostic Pretraining (TAP), a two-stage framework that first learns transferable motor priors from cheap, unlabeled interaction data -- including discarded off-task trajectories and autonomous robot play -- via a self-supervised Inverse Dynamics objective. A lightweight second stage then grounds these priors in language using minimal expert data. On the SIMPLER benchmark, TAP matches models trained on over 1M expert trajectories while using orders of magnitude less labeled data, yielding a 10% absolute gain over standard behavior cloning. On a real-world WidowX platform, TAP retains 25% success under camera perturbations where internet-scale baselines collapse to 0%, demonstrating that task-agnostic pretraining produces robust, transferable physical representations and offers a scalable path forward for Embodied AI.