EgoSteer: Un sistema integral para la manipulación hábil guiable a partir de videos egocéntricos

Resumen

La dirigibilidad es una capacidad definitoria de las políticas robóticas generalistas, pero sigue siendo prácticamente inexistente en los sistemas de manos diestras debido a la falta de datos de demostración a gran escala, alineados con el lenguaje y precisos en la acción. Para abordar este cuello de botella, presentamos un sistema integral que escala el preentrenamiento diestro de VLA a partir de vídeos humanos egocéntricos y permite un postentrenamiento eficiente en datos con robots reales. Integra EgoSmith, un canal de datos que selecciona vídeos egocéntricos del mundo real en 9,6 mil horas de datos de preentrenamiento de alta calidad con un rendimiento 9 veces superior y mayor precisión que el estado del arte anterior; una pila robótica unificada para teleoperación y corrección con intervención humana; y EgoSteer, un VLA potenciado por modelo del mundo entrenado sobre una infraestructura optimizada. El preentrenamiento con datos humanos dota a EgoSteer de conocimientos previos de manipulación guiados por lenguaje, que se fundamentan mediante el postentrenamiento del robot y se mejoran con el refinamiento DAgger. Empíricamente, EgoSteer ejecuta de forma robusta instrucciones de formato libre en más de 40 tareas diversas, demostrando recuperación de fallos, destreza y generalización. El modelo preentrenado también se adapta con pocos ejemplos a tareas complejas de horizonte temporal largo, incluido el plegado de cajas, en dos encarnaciones con más del 75 % de éxito. Publicamos el sistema, los datos y el modelo como código abierto en https://egosteer.github.io/.

English

Steerability is a defining capability of generalist robot policies, yet remains largely absent in dexterous-hand systems for lack of large-scale, language-aligned, and action-accurate demonstration data. To address this bottleneck, we present a full-stack system that scales dexterous VLA pre-training from egocentric human videos and enables data-efficient real-robot post-training. It integrates EgoSmith, a data pipeline that curates in-the-wild egocentric videos into 9.6K hours of high-quality pre-training data with 9x higher throughput and better accuracy than prior SOTA; a unified robot stack for teleoperation and human-in-the-loop correction; and EgoSteer, a world-model-enhanced VLA trained on optimized infrastructure. Human-data pre-training equips EgoSteer with language-guided manipulation priors, which are grounded through robot post-training and improved by DAgger refinement. Empirically, EgoSteer robustly executes free-form instructions across 40+ diverse tasks, demonstrating failure recovery, dexterity, and generalization. The pre-trained model also few-shot adapts to complex long-horizon tasks, including box folding, on two embodiments with 75+% success. We open-source the system, data, and model at https://egosteer.github.io/.