InSight : Acquisition de compétences autoguidée via des VLA pilotables

Résumé

Les modèles Vision-Langage-Action (VLA) peuvent apprendre des compétences de manipulation à partir de démonstrations, mais leurs capacités sont limitées par les compétences présentes dans les données d'entraînement. Nous présentons InSight, un cadre qui permet l'acquisition autonome de compétences en rendant les VLA orientables au niveau des actions primitives (par exemple, « déplacer la pince vers le bol », « soulever vers le haut », « verser la bouteille »). InSight comprend deux étapes principales : (1) un pipeline de segmentation automatisé qui partitionne les démonstrations en primitives étiquetées via la décomposition de plan par VLM et les poses de l'effecteur, afin de permettre l'orientabilité des primitives dans les VLA ; et (2) un cycle de données guidé par VLM qui identifie les primitives manquantes nécessaires pour accomplir une nouvelle tâche, tente de manière autonome des démonstrations des primitives manquantes avec un contrôle de bas niveau proposé par le VLM, puis étiquette, stocke et intègre automatiquement les démonstrations réussies dans l'ensemble d'entraînement du VLA. Nous évaluons InSight sur des tâches de manipulation en simulation et dans le monde réel, incluant le retournement de blocs, la fermeture de tiroirs, le balayage, la torsion et le versement, sans aucune démonstration humaine de ces compétences cibles. Une fois apprises, ces primitives peuvent être composées pour exécuter de nouvelles tâches à long horizon sans démonstrations humaines supplémentaires. Nos résultats montrent que l'orientabilité des primitives constitue une base pratique pour l'acquisition continue de compétences dans les politiques VLA. Site web du projet : https://insight-vla.github.io.

English

Vision-language-action (VLA) models can learn manipulation skills from demonstrations, but their capabilities are bounded by the skills in the training data. We present InSight, a framework that unlocks autonomous skill acquisition by rendering VLAs steerable at the primitive-action level (e.g., "move gripper to the bowl", "lift upward", "pour the bottle"). InSight consists of two primary stages: (1) an automated segmentation pipeline that partitions demonstrations into labeled primitives via VLM plan decomposition and end-effector poses to enable VLA primitive steerability, and (2) a VLM-guided data flywheel that identifies missing primitives required to accomplish a novel task, autonomously attempts demonstrations of the missing primitives with VLM-proposed low-level control, and automatically labels, stores, and integrates successful demonstrations into the VLA training set. We evaluate InSight across simulation and real-world manipulation tasks, including block flipping, drawer closing, sweeping, twisting, and pouring, without any human demonstrations of these target skills. Once learned, these primitives can be composed to execute novel, long-horizon tasks without additional human demonstrations. Our findings demonstrate that primitive steerability provides a practical foundation for continual skill acquisition in VLA policies. Project website: https://insight-vla.github.io.