EgoZero: 스마트 안경을 활용한 로봇 학습

EgoZero: Robot Learning from Smart Glasses

May 26, 2025

저자: Vincent Liu, Ademi Adeniji, Haotian Zhan, Raunaq Bhirangi, Pieter Abbeel, Lerrel Pinto

cs.AI

초록

범용 로봇 기술의 최근 발전에도 불구하고, 로봇 정책은 여전히 현실 세계에서 인간의 기본 능력에 크게 뒤처져 있다. 인간은 끊임없이 물리적 세계와 상호작용하지만, 이러한 풍부한 데이터 자원은 로봇 학습에서 크게 활용되지 않고 있다. 우리는 Project Aria 스마트 안경으로 캡처한 인간 시연 데이터와 로봇 데이터 없이도 강력한 조작 정책을 학습하는 최소 시스템인 EgoZero를 제안한다. EgoZero는 (1) 야생 환경에서의 인간 시연 데이터로부터 완전한 로봇 실행 가능한 동작을 추출하고, (2) 인간의 시각 관찰을 형태학에 구애받지 않는 상태 표현으로 압축하며, (3) 형태학적, 공간적, 의미적으로 일반화 가능한 폐루프 정책 학습을 가능하게 한다. 우리는 EgoZero 정책을 그리퍼 Franka Panda 로봇에 배포하고, 7가지 조작 작업에서 70%의 성공률과 작업당 20분의 데이터 수집만으로 제로샷 전이를 입증했다. 우리의 결과는 야생 환경에서의 인간 데이터가 현실 세계 로봇 학습을 위한 확장 가능한 기반으로 활용될 수 있음을 시사하며, 로봇을 위한 풍부하고 다양하며 자연스러운 훈련 데이터의 미래를 열어갈 수 있음을 보여준다. 코드와 비디오는 https://egozero-robot.github.io에서 확인할 수 있다.

English

Despite recent progress in general purpose robotics, robot policies still lag far behind basic human capabilities in the real world. Humans interact constantly with the physical world, yet this rich data resource remains largely untapped in robot learning. We propose EgoZero, a minimal system that learns robust manipulation policies from human demonstrations captured with Project Aria smart glasses, and zero robot data. EgoZero enables: (1) extraction of complete, robot-executable actions from in-the-wild, egocentric, human demonstrations, (2) compression of human visual observations into morphology-agnostic state representations, and (3) closed-loop policy learning that generalizes morphologically, spatially, and semantically. We deploy EgoZero policies on a gripper Franka Panda robot and demonstrate zero-shot transfer with 70% success rate over 7 manipulation tasks and only 20 minutes of data collection per task. Our results suggest that in-the-wild human data can serve as a scalable foundation for real-world robot learning - paving the way toward a future of abundant, diverse, and naturalistic training data for robots. Code and videos are available at https://egozero-robot.github.io.