FrameSkip : Apprendre à partir de moins de trames mais plus informatives dans l'entraînement VLA

Résumé

Les politiques Vision-Langage-Action (VLA) sont généralement entraînées à partir de trajectoires denses de démonstrations robotiques, souvent collectées par téléopération, en échantillonnant chaque image enregistrée comme si elle fournissait une supervision aussi utile. Nous soutenons que cette convention crée un déséquilibre temporel de supervision : de longs segments à faible variation dominent le flux d’entraînement, tandis que les transitions critiques pour la manipulation – telles que l’alignement, le contact, la préhension et le relâchement – n’apparaissent que de manière éparse. Nous introduisons FrameSkip, un cadre de sélection d’images au niveau des données qui note les images de trajectoire en utilisant la variation d’action, la cohérence visuo-action, les a priori de progression de tâche et la conservation des transitions de la pince, puis remappe les échantillons d’entraînement vers les images à haute importance selon un taux de rétention cible. FrameSkip n’opérant que dans le chargeur de données, il laisse inchangés l’architecture VLA, la tête d’action, l’objectif d’entraînement et la procédure d’inférence. Sur RoboCasa-GR1, SimplerEnv et LIBERO, FrameSkip améliore le compromis succès-rétention par rapport à l’entraînement sur toutes les images et à des variantes plus simples de sélection d’images, atteignant un taux de succès macro-moyen de 76,15 % sur les trois benchmarks, contre 66,50 % pour l’entraînement sur toutes les images, tout en utilisant une vue de trajectoire compressée qui conserve 20 % des images uniques dans le paramétrage principal.

English

Vision-Language-Action (VLA) policies are commonly trained from dense robot demonstration trajectories, often collected through teleoperation, by sampling every recorded frame as if it provided equally useful supervision. We argue that this convention creates a temporal supervision imbalance: long low-change segments dominate the training stream, while manipulation-critical transitions such as alignment, contact, grasping, and release appear only sparsely. We introduce FrameSkip, a data-layer frame selection framework that scores trajectory frames using action variation, visual-action coherence, task-progress priors, and gripper-transition preservation, then remaps training samples toward high-importance frames under a target retention ratio. Because FrameSkip operates only in the dataloader, it leaves the VLA architecture, action head, training objective, and inference procedure unchanged. Across RoboCasa-GR1, SimplerEnv, and LIBERO, FrameSkip improves the success-retention trade-off over full-frame training and simpler frame selection variants, achieving a macro-average success rate of 76.15% across the three benchmarks compared with 66.50% for full-frame training while using a compressed trajectory view that retains 20% of unique frames in the main setting.