FrameSkip: Aprendendo com Menos Quadros, mas Mais Informativos, no Treinamento de VLA

Resumo

As políticas Visão-Linguagem-Ação (VLA) são comumente treinadas a partir de trajetórias densas de demonstração robótica, frequentemente coletadas por teleoperação, amostrando cada quadro gravado como se fornecesse supervisão igualmente útil. Argumentamos que essa convenção cria um desequilíbrio temporal de supervisão: longos segmentos de baixa variação dominam o fluxo de treinamento, enquanto transições críticas de manipulação, como alinhamento, contato, preensão e liberação, aparecem apenas esparsamente. Apresentamos o FrameSkip, uma estrutura de seleção de quadros em nível de dados que pontua quadros de trajetória usando variação de ação, coerência visão-ação, priores de progresso da tarefa e preservação de transições do gripper, e então remapeia as amostras de treinamento para quadros de alta importância sob uma taxa de retenção alvo. Como o FrameSkip opera apenas no carregador de dados, ele mantém inalteradas a arquitetura VLA, a cabeça de ação, o objetivo de treinamento e o procedimento de inferência. Nos benchmarks RoboCasa-GR1, SimplerEnv e LIBERO, o FrameSkip melhora a troca sucesso-retenção em relação ao treinamento com todos os quadros e variantes mais simples de seleção de quadros, alcançando uma taxa de sucesso macro-média de 76,15% nos três benchmarks, em comparação com 66,50% para o treinamento com todos os quadros, enquanto utiliza uma visão de trajetória comprimida que retém 20% dos quadros únicos na configuração principal.

English

Vision-Language-Action (VLA) policies are commonly trained from dense robot demonstration trajectories, often collected through teleoperation, by sampling every recorded frame as if it provided equally useful supervision. We argue that this convention creates a temporal supervision imbalance: long low-change segments dominate the training stream, while manipulation-critical transitions such as alignment, contact, grasping, and release appear only sparsely. We introduce FrameSkip, a data-layer frame selection framework that scores trajectory frames using action variation, visual-action coherence, task-progress priors, and gripper-transition preservation, then remaps training samples toward high-importance frames under a target retention ratio. Because FrameSkip operates only in the dataloader, it leaves the VLA architecture, action head, training objective, and inference procedure unchanged. Across RoboCasa-GR1, SimplerEnv, and LIBERO, FrameSkip improves the success-retention trade-off over full-frame training and simpler frame selection variants, achieving a macro-average success rate of 76.15% across the three benchmarks compared with 66.50% for full-frame training while using a compressed trajectory view that retains 20% of unique frames in the main setting.