FrameSkip: Leren van minder maar meer informatieve frames in VLA-training

Samenvatting

Visie-Taal-Actie (VLA)-beleid wordt gewoonlijk getraind op basis van dichte robotdemonstratietrajecten, vaak verzameld via teleoperatie, door elk opgenomen frame te samplen alsof het even nuttige supervisie biedt. Wij stellen dat deze conventie een temporele supervisie-onbalans creëert: lange segmenten met weinig verandering domineren de trainingsstroom, terwijl manipulatie-kritieke overgangen zoals uitlijning, contact, grijpen en loslaten slechts spaarzaam voorkomen. We introduceren FrameSkip, een raamselectiekader op dataniveau dat trajectframes scoort op basis van actievariatie, visueel-actie coherentie, taakvoortgangsprioriteiten en behoud van grijperovergangen, en vervolgens trainingsmonsters herverdeelt naar frames met een hoge belangrijkheid onder een beoogde retentieverhouding. Omdat FrameSkip alleen in de datalader werkt, blijven de VLA-architectuur, de actiekop, de trainingsdoelstelling en de inferentieprocedure ongewijzigd. Over RoboCasa-GR1, SimplerEnv en LIBERO verbetert FrameSkip de afweging tussen succes en retentie ten opzichte van volledige-frame training en eenvoudigere raamselectievarianten, met een macro-gemiddeld slagingspercentage van 76,15% over de drie benchmarks, vergeleken met 66,50% voor volledige-frame training, terwijl gebruik wordt gemaakt van een gecomprimeerd trajectoverzicht dat in de hoofdomgeving 20% van de unieke frames behoudt.

English

Vision-Language-Action (VLA) policies are commonly trained from dense robot demonstration trajectories, often collected through teleoperation, by sampling every recorded frame as if it provided equally useful supervision. We argue that this convention creates a temporal supervision imbalance: long low-change segments dominate the training stream, while manipulation-critical transitions such as alignment, contact, grasping, and release appear only sparsely. We introduce FrameSkip, a data-layer frame selection framework that scores trajectory frames using action variation, visual-action coherence, task-progress priors, and gripper-transition preservation, then remaps training samples toward high-importance frames under a target retention ratio. Because FrameSkip operates only in the dataloader, it leaves the VLA architecture, action head, training objective, and inference procedure unchanged. Across RoboCasa-GR1, SimplerEnv, and LIBERO, FrameSkip improves the success-retention trade-off over full-frame training and simpler frame selection variants, achieving a macro-average success rate of 76.15% across the three benchmarks compared with 66.50% for full-frame training while using a compressed trajectory view that retains 20% of unique frames in the main setting.