EgoSteer: Комплексная система для управляемого ловкого манипулирования на основе эгоцентричных видео

Аннотация

Управляемость является определяющей способностью роботов-политик общего назначения, однако в системах манипуляторов с ловкими захватами она в значительной степени отсутствует из-за нехватки масштабных, согласованных с языком и точных по действиям демонстрационных данных. Для преодоления этого узкого места мы представляем полнофункциональную систему, которая масштабирует предварительное обучение ловких VLA (Vision-Language-Action) на основе эгоцентрических видеозаписей человека и обеспечивает эффективное последующее обучение на реальном роботе с минимальным объемом данных. Система объединяет EgoSmith — конвейер данных, формирующий из «диких» эгоцентрических видео 9,6 тыс. часов высококачественных предобучающих данных с 9-кратным увеличением пропускной способности и более высокой точностью по сравнению с предыдущими SOTA; унифицированный стек робота для телеоперации и коррекции с участием человека; а также EgoSteer — VLA с улучшенной мировой моделью, обученную на оптимизированной инфраструктуре. Предварительное обучение на человеческих данных снабжает EgoSteer управляемыми языком приоритетами манипуляций, которые закрепляются в ходе последующего обучения на роботе и улучшаются с помощью уточнения DAgger. Эмпирически EgoSteer надежно выполняет инструкции произвольной формы в более чем 40 разнообразных задачах, демонстрируя восстановление после сбоев, ловкость и обобщение. Предобученная модель также адаптируется по нескольким примерам к сложным долгосрочным задачам, включая складывание коробок, на двух вариантах воплощения с вероятностью успеха более 75%. Мы публикуем систему, данные и модель с открытым исходным кодом по адресу https://egosteer.github.io/.

English

Steerability is a defining capability of generalist robot policies, yet remains largely absent in dexterous-hand systems for lack of large-scale, language-aligned, and action-accurate demonstration data. To address this bottleneck, we present a full-stack system that scales dexterous VLA pre-training from egocentric human videos and enables data-efficient real-robot post-training. It integrates EgoSmith, a data pipeline that curates in-the-wild egocentric videos into 9.6K hours of high-quality pre-training data with 9x higher throughput and better accuracy than prior SOTA; a unified robot stack for teleoperation and human-in-the-loop correction; and EgoSteer, a world-model-enhanced VLA trained on optimized infrastructure. Human-data pre-training equips EgoSteer with language-guided manipulation priors, which are grounded through robot post-training and improved by DAgger refinement. Empirically, EgoSteer robustly executes free-form instructions across 40+ diverse tasks, demonstrating failure recovery, dexterity, and generalization. The pre-trained model also few-shot adapts to complex long-horizon tasks, including box folding, on two embodiments with 75+% success. We open-source the system, data, and model at https://egosteer.github.io/.