EgoSteer: Um Sistema Full-Stack para Manipulação Hábil Direcionável a partir de Vídeos Egocêntricos

Resumo

Controlabilidade é uma capacidade definidora de políticas de robôs generalistas, mas permanece amplamente ausente em sistemas de mãos hábeis por falta de dados de demonstração em larga escala, alinhados linguisticamente e precisos em termos de ação. Para abordar esse gargalo, apresentamos um sistema completo que escala o pré-treinamento de VLA hábil a partir de vídeos humanos egocêntricos e permite um pós-treinamento eficiente em dados em robôs reais. Ele integra o EgoSmith, um pipeline de dados que transforma vídeos egocêntricos da vida real em 9,6 mil horas de dados de pré-treinamento de alta qualidade, com 9x mais rendimento e melhor precisão que o SOTA anterior; uma pilha robótica unificada para teleoperação e correção humana no loop; e o EgoSteer, um VLA aprimorado por modelo de mundo treinado em infraestrutura otimizada. O pré-treinamento com dados humanos equipa o EgoSteer com prioridades de manipulação guiadas por linguagem, que são fundamentadas através do pós-treinamento robótico e melhoradas pelo refinamento DAgger. Empiricamente, o EgoSteer executa de forma robusta instruções livres em mais de 40 tarefas diversas, demonstrando recuperação de falhas, destreza e generalização. O modelo pré-treinado também se adapta com poucos exemplos a tarefas complexas de longo horizonte, incluindo dobradura de caixas, em duas plataformas robóticas com mais de 75% de sucesso. Disponibilizamos o sistema, dados e modelo como código aberto em https://egosteer.github.io/.

English

Steerability is a defining capability of generalist robot policies, yet remains largely absent in dexterous-hand systems for lack of large-scale, language-aligned, and action-accurate demonstration data. To address this bottleneck, we present a full-stack system that scales dexterous VLA pre-training from egocentric human videos and enables data-efficient real-robot post-training. It integrates EgoSmith, a data pipeline that curates in-the-wild egocentric videos into 9.6K hours of high-quality pre-training data with 9x higher throughput and better accuracy than prior SOTA; a unified robot stack for teleoperation and human-in-the-loop correction; and EgoSteer, a world-model-enhanced VLA trained on optimized infrastructure. Human-data pre-training equips EgoSteer with language-guided manipulation priors, which are grounded through robot post-training and improved by DAgger refinement. Empirically, EgoSteer robustly executes free-form instructions across 40+ diverse tasks, demonstrating failure recovery, dexterity, and generalization. The pre-trained model also few-shot adapts to complex long-horizon tasks, including box folding, on two embodiments with 75+% success. We open-source the system, data, and model at https://egosteer.github.io/.