EgoZero: Apprendimento Robotico da Occhiali Intelligenti

EgoZero: Robot Learning from Smart Glasses

May 26, 2025

Autori: Vincent Liu, Ademi Adeniji, Haotian Zhan, Raunaq Bhirangi, Pieter Abbeel, Lerrel Pinto

cs.AI

Abstract

Nonostante i recenti progressi nella robotica generica, le politiche dei robot rimangono ancora molto indietro rispetto alle capacità umane di base nel mondo reale. Gli esseri umani interagiscono costantemente con il mondo fisico, eppure questa ricca risorsa di dati rimane in gran parte inutilizzata nell'apprendimento dei robot. Proponiamo EgoZero, un sistema minimale che apprende politiche di manipolazione robuste da dimostrazioni umane catturate con gli occhiali intelligenti Project Aria, senza utilizzare alcun dato robotico. EgoZero consente: (1) l'estrazione di azioni complete ed eseguibili da robot da dimostrazioni umane egocentriche in contesti reali, (2) la compressione delle osservazioni visive umane in rappresentazioni di stato indipendenti dalla morfologia, e (3) l'apprendimento di politiche a ciclo chiuso che generalizzano morfologicamente, spazialmente e semanticamente. Implementiamo le politiche di EgoZero su un robot Franka Panda con pinza e dimostriamo un trasferimento zero-shot con un tasso di successo del 70% su 7 compiti di manipolazione e solo 20 minuti di raccolta dati per ciascun compito. I nostri risultati suggeriscono che i dati umani raccolti in contesti reali possono servire come base scalabile per l'apprendimento dei robot nel mondo reale, aprendo la strada verso un futuro di dati di addestramento abbondanti, diversificati e naturalistici per i robot. Codice e video sono disponibili all'indirizzo https://egozero-robot.github.io.

English

Despite recent progress in general purpose robotics, robot policies still lag far behind basic human capabilities in the real world. Humans interact constantly with the physical world, yet this rich data resource remains largely untapped in robot learning. We propose EgoZero, a minimal system that learns robust manipulation policies from human demonstrations captured with Project Aria smart glasses, and zero robot data. EgoZero enables: (1) extraction of complete, robot-executable actions from in-the-wild, egocentric, human demonstrations, (2) compression of human visual observations into morphology-agnostic state representations, and (3) closed-loop policy learning that generalizes morphologically, spatially, and semantically. We deploy EgoZero policies on a gripper Franka Panda robot and demonstrate zero-shot transfer with 70% success rate over 7 manipulation tasks and only 20 minutes of data collection per task. Our results suggest that in-the-wild human data can serve as a scalable foundation for real-world robot learning - paving the way toward a future of abundant, diverse, and naturalistic training data for robots. Code and videos are available at https://egozero-robot.github.io.