Ego2Robot: 1인칭 인간 데이터로부터의 확장 가능한 로봇 데이터 합성

초록

일반화 가능한 로봇 조작 정책을 학습하려면 대규모의 다양한 시연 데이터가 필요하다. 자기중심적 인간 조작 비디오는 풍부한 장면 및 작업 다양성을 제공하며, 기존 연구는 이러한 비디오를 리타게팅하고 로봇 형식 데이터로 렌더링하면 소규모에서 효과적인 작업별 정책을 얻을 수 있음을 보여주었다. 그러나 이러한 접근 방식이 대규모 비전-언어-행동 모델의 사전 학습 이점을 제공할 수 있는지는 아직 검토되지 않았다. 본 논문에서는 인간의 자기중심적 조작 비디오를 행동 리타게팅, 로봇 팔 시각 합성, 다중 수준 품질 선별을 통해 로봇 훈련 데이터로 변환하는 확장 가능한 파이프라인인 Ego2Robot을 제시한다. Ego2Robot은 정제된 데이터셋과 실제 환경 비디오를 모두 지원하며, 15가지 로봇 형태에 걸친 18,561시간의 로봇 훈련 데이터를 생성하여 현재까지 가장 큰 에고-투-로봇 데이터셋을 구축한다. 일반화 성능을 평가하기 위해 RoboTwin2.0을 시각적 외관, 장면 배치, 구현체 형태, 작업 의미론을 포함하는 분리된 교란 축으로 확장한다. 실험 결과, Ego2Robot으로 합성된 데이터와 로봇 데이터를 함께 사전 학습하면 여러 유형의 교란에 걸쳐 분포 외 일반화가 일관되게 개선되며, 그 이점은 실제 로봇 배치에서도 검증된다. 프로젝트 페이지: https://www-ye.github.io/ego2robot_blog/

English

Learning generalizable robot manipulation policies requires large-scale and diverse demonstration data. Egocentric human manipulation videos offer rich scene and task diversity, and prior work has shown that retargeting and rendering such videos into robot-format data can yield effective per-task policies at small scale. However, whether this approach can provide pretraining benefits for vision-language-action models at scale remains unexplored. We present Ego2Robot, a scalable pipeline that converts egocentric human manipulation videos into robot training data through action retargeting, robot-arm visual synthesis, and multi-level quality curation. Ego2Robot supports both curated datasets and in-the-wild videos, producing 18,561 hours of robot training data spanning 15 robot morphologies, making it the largest ego-to-robot dataset to date. To evaluate generalization, we extend RoboTwin2.0 with disentangled perturbation axes covering visual appearance, scene layout, embodiment morphology, and task semantics. Experiments show that joint pretraining on Ego2Robot-synthesized and robot data consistently improves out-of-distribution generalization across multiple perturbation types, with benefits validated on real-robot deployment. Project page: https://www-ye.github.io/ego2robot_blog/