EgoSteer: Een full-stack systeem voor stuurbare behendige manipulatie vanuit egocentrische video's

Samenvatting

Bestuurbaarheid is een bepalende eigenschap van generalistische robotbeleidslijnen, maar ontbreekt grotendeels in systemen met behendige handen door het gebrek aan grootschalige, taal-gesynchroniseerde en actie-nauwkeurige demonstratiedata. Om deze bottleneck aan te pakken, presenteren we een full-stack systeem dat behendige VLA pre-training opschaalt vanuit egocentrische menselijke video's en data-efficiënte real-robot post-training mogelijk maakt. Het integreert EgoSmith, een datapijplijn die in-the-wild egocentrische video's omzet in 9,6K uur aan hoogwaardige pre-training data met 9x hogere doorvoer en betere nauwkeurigheid dan de vorige SOTA; een uniforme robotstack voor teleoperatie en correctie met mens-in-de-lus; en EgoSteer, een wereldmodel-versterkte VLA getraind op geoptimaliseerde infrastructuur. Pre-training op menselijke data voorziet EgoSteer van taalgestuurde manipulatierijkheden, die worden verankerd via robot post-training en verbeterd door DAgger-verfijning. Empirisch voert EgoSteer robuust vrije-vorm instructies uit voor 40+ uiteenlopende taken, met herstel van fouten, behendigheid en generalisatie. Het voorgetrainde model past zich ook met weinig voorbeelden aan aan complexe taken met lange horizon, waaronder het vouwen van dozen, op twee robotlichamen met 75%+ succes. We maken het systeem, de data en het model open-source beschikbaar op https://egosteer.github.io/.

English

Steerability is a defining capability of generalist robot policies, yet remains largely absent in dexterous-hand systems for lack of large-scale, language-aligned, and action-accurate demonstration data. To address this bottleneck, we present a full-stack system that scales dexterous VLA pre-training from egocentric human videos and enables data-efficient real-robot post-training. It integrates EgoSmith, a data pipeline that curates in-the-wild egocentric videos into 9.6K hours of high-quality pre-training data with 9x higher throughput and better accuracy than prior SOTA; a unified robot stack for teleoperation and human-in-the-loop correction; and EgoSteer, a world-model-enhanced VLA trained on optimized infrastructure. Human-data pre-training equips EgoSteer with language-guided manipulation priors, which are grounded through robot post-training and improved by DAgger refinement. Empirically, EgoSteer robustly executes free-form instructions across 40+ diverse tasks, demonstrating failure recovery, dexterity, and generalization. The pre-trained model also few-shot adapts to complex long-horizon tasks, including box folding, on two embodiments with 75+% success. We open-source the system, data, and model at https://egosteer.github.io/.