EgoSteer : un système complet visant la manipulation dextre orientable à partir de vidéos égocentriques

Résumé

La directivité est une capacité déterminante des politiques robotiques généralistes, mais elle reste largement absente dans les systèmes à mains dextres en raison du manque de données de démonstration à grande échelle, alignées sur le langage et précises en termes d'actions. Pour remédier à ce goulot d'étranglement, nous présentons un système complet qui étend le pré-entraînement VLA dextre à partir de vidéos humaines égocentriques et permet un post-entraînement efficace en données sur robots réels. Il intègre EgoSmith, un pipeline de données qui organise des vidéos égocentriques issues du monde réel en 9,6k heures de données de pré-entraînement de haute qualité, avec un débit 9 fois supérieur et une meilleure précision que l'état de l'art antérieur ; une pile robotique unifiée pour la téléopération et la correction avec intervention humaine ; et EgoSteer, un VLA enrichi par un modèle du monde, entraîné sur une infrastructure optimisée. Le pré-entraînement sur données humaines dote EgoSteer de connaissances préalables en manipulation guidées par le langage, qui sont ancrées via le post-entraînement sur robot et améliorées par un raffinement DAgger. Empiriquement, EgoSteer exécute de manière robuste des instructions libres à travers plus de 40 tâches diverses, démontrant la récupération après échec, la dextérité et la généralisation. Le modèle pré-entraîné s'adapte également en quelques essais à des tâches complexes à long horizon, y compris le pliage de boîtes, sur deux incarnations avec un taux de succès supérieur à 75 %. Nous open-sourçons le système, les données et le modèle à l'adresse https://egosteer.github.io/.

English

Steerability is a defining capability of generalist robot policies, yet remains largely absent in dexterous-hand systems for lack of large-scale, language-aligned, and action-accurate demonstration data. To address this bottleneck, we present a full-stack system that scales dexterous VLA pre-training from egocentric human videos and enables data-efficient real-robot post-training. It integrates EgoSmith, a data pipeline that curates in-the-wild egocentric videos into 9.6K hours of high-quality pre-training data with 9x higher throughput and better accuracy than prior SOTA; a unified robot stack for teleoperation and human-in-the-loop correction; and EgoSteer, a world-model-enhanced VLA trained on optimized infrastructure. Human-data pre-training equips EgoSteer with language-guided manipulation priors, which are grounded through robot post-training and improved by DAgger refinement. Empirically, EgoSteer robustly executes free-form instructions across 40+ diverse tasks, demonstrating failure recovery, dexterity, and generalization. The pre-trained model also few-shot adapts to complex long-horizon tasks, including box folding, on two embodiments with 75+% success. We open-source the system, data, and model at https://egosteer.github.io/.