EgoZero : Apprentissage robotique à partir de lunettes intelligentes

EgoZero: Robot Learning from Smart Glasses

May 26, 2025

Auteurs: Vincent Liu, Ademi Adeniji, Haotian Zhan, Raunaq Bhirangi, Pieter Abbeel, Lerrel Pinto

cs.AI

Résumé

Malgré les progrès récents en robotique polyvalente, les politiques robotiques restent encore loin derrière les capacités humaines de base dans le monde réel. Les humains interagissent constamment avec le monde physique, pourtant cette riche ressource de données reste largement inexploitée dans l'apprentissage des robots. Nous proposons EgoZero, un système minimal qui apprend des politiques de manipulation robustes à partir de démonstrations humaines capturées avec les lunettes intelligentes Project Aria, et sans aucune donnée robotique. EgoZero permet : (1) l'extraction d'actions complètes et exécutables par un robot à partir de démonstrations humaines égocentriques en conditions réelles, (2) la compression des observations visuelles humaines en représentations d'état indépendantes de la morphologie, et (3) l'apprentissage de politiques en boucle fermée qui généralisent morphologiquement, spatialement et sémantiquement. Nous déployons les politiques d'EgoZero sur un robot Franka Panda équipé d'une pince et démontrons un transfert zero-shot avec un taux de réussite de 70 % sur 7 tâches de manipulation, avec seulement 20 minutes de collecte de données par tâche. Nos résultats suggèrent que les données humaines en conditions réelles peuvent servir de fondation évolutive pour l'apprentissage des robots dans le monde réel - ouvrant la voie vers un avenir de données d'entraînement abondantes, diversifiées et naturalistes pour les robots. Le code et les vidéos sont disponibles à l'adresse https://egozero-robot.github.io.

English

Despite recent progress in general purpose robotics, robot policies still lag far behind basic human capabilities in the real world. Humans interact constantly with the physical world, yet this rich data resource remains largely untapped in robot learning. We propose EgoZero, a minimal system that learns robust manipulation policies from human demonstrations captured with Project Aria smart glasses, and zero robot data. EgoZero enables: (1) extraction of complete, robot-executable actions from in-the-wild, egocentric, human demonstrations, (2) compression of human visual observations into morphology-agnostic state representations, and (3) closed-loop policy learning that generalizes morphologically, spatially, and semantically. We deploy EgoZero policies on a gripper Franka Panda robot and demonstrate zero-shot transfer with 70% success rate over 7 manipulation tasks and only 20 minutes of data collection per task. Our results suggest that in-the-wild human data can serve as a scalable foundation for real-world robot learning - paving the way toward a future of abundant, diverse, and naturalistic training data for robots. Code and videos are available at https://egozero-robot.github.io.