InSight: Aquisição Autoguiada de Habilidades via VLAs Direcionáveis

Resumo

Modelos visão-linguagem-ação (VLA) podem aprender habilidades de manipulação a partir de demonstrações, mas suas capacidades são limitadas pelas habilidades presentes nos dados de treinamento. Apresentamos o InSight, uma estrutura que desbloqueia a aquisição autônoma de habilidades ao tornar os VLAs direcionáveis no nível de ação primitiva (por exemplo, "mover o gripper até a tigela", "levantar para cima", "despejar a garrafa"). O InSight consiste em duas etapas principais: (1) um pipeline de segmentação automatizada que particiona demonstrações em primitivas rotuladas por meio da decomposição de planos do VLM e das poses do efetuador final para permitir a direcionabilidade de primitivas do VLA, e (2) um ciclo de dados guiado por VLM que identifica primitivas ausentes necessárias para realizar uma tarefa nova, tenta autonomamente demonstrações das primitivas ausentes com controle de baixo nível proposto pelo VLM, e rotula, armazena e integra automaticamente demonstrações bem-sucedidas ao conjunto de treinamento do VLA. Avaliamos o InSight em tarefas de manipulação simuladas e do mundo real, incluindo virar blocos, fechar gavetas, varrer, torcer e despejar, sem qualquer demonstração humana dessas habilidades-alvo. Uma vez aprendidas, essas primitivas podem ser compostas para executar tarefas inéditas de longo horizonte sem demonstrações humanas adicionais. Nossos resultados demonstram que a direcionabilidade de primitivas fornece uma base prática para a aquisição contínua de habilidades em políticas VLA. Site do projeto: https://insight-vla.github.io.

English

Vision-language-action (VLA) models can learn manipulation skills from demonstrations, but their capabilities are bounded by the skills in the training data. We present InSight, a framework that unlocks autonomous skill acquisition by rendering VLAs steerable at the primitive-action level (e.g., "move gripper to the bowl", "lift upward", "pour the bottle"). InSight consists of two primary stages: (1) an automated segmentation pipeline that partitions demonstrations into labeled primitives via VLM plan decomposition and end-effector poses to enable VLA primitive steerability, and (2) a VLM-guided data flywheel that identifies missing primitives required to accomplish a novel task, autonomously attempts demonstrations of the missing primitives with VLM-proposed low-level control, and automatically labels, stores, and integrates successful demonstrations into the VLA training set. We evaluate InSight across simulation and real-world manipulation tasks, including block flipping, drawer closing, sweeping, twisting, and pouring, without any human demonstrations of these target skills. Once learned, these primitives can be composed to execute novel, long-horizon tasks without additional human demonstrations. Our findings demonstrate that primitive steerability provides a practical foundation for continual skill acquisition in VLA policies. Project website: https://insight-vla.github.io.