UniSkill: Imitatie van Menselijke Video's via Cross-Embodiment Vaardigheidsrepresentaties

UniSkill: Imitating Human Videos via Cross-Embodiment Skill Representations

May 13, 2025

Auteurs: Hanjung Kim, Jaehyun Kang, Hyolim Kang, Meedeum Cho, Seon Joo Kim, Youngwoon Lee

cs.AI

Samenvatting

Mimicry is een fundamenteel leerproces bij mensen, waardoor individuen nieuwe taken kunnen leren door experts te observeren en te imiteren. Het toepassen van dit vermogen op robots brengt echter aanzienlijke uitdagingen met zich mee vanwege de inherente verschillen tussen menselijke en robotische belichamingen, zowel in visuele verschijning als fysieke mogelijkheden. Hoewel eerdere methoden deze kloof overbruggen door gebruik te maken van cross-embodiment datasets met gedeelde scènes en taken, is het verzamelen van dergelijke uitgelijnde data tussen mensen en robots op grote schaal niet triviaal. In dit artikel introduceren we UniSkill, een nieuw raamwerk dat embodiment-onafhankelijke vaardigheidsrepresentaties leert uit grootschalige cross-embodiment videodata zonder enige labels, waardoor vaardigheden die uit menselijke videoprompts worden geëxtraheerd effectief kunnen worden overgedragen naar robotbeleid dat alleen op robotdata is getraind. Onze experimenten in zowel simulatie- als real-world omgevingen tonen aan dat onze cross-embodiment vaardigheden robots succesvol begeleiden bij het selecteren van geschikte acties, zelfs met onbekende videoprompts. De projectwebsite is te vinden op: https://kimhanjung.github.io/UniSkill.

English

Mimicry is a fundamental learning mechanism in humans, enabling individuals to learn new tasks by observing and imitating experts. However, applying this ability to robots presents significant challenges due to the inherent differences between human and robot embodiments in both their visual appearance and physical capabilities. While previous methods bridge this gap using cross-embodiment datasets with shared scenes and tasks, collecting such aligned data between humans and robots at scale is not trivial. In this paper, we propose UniSkill, a novel framework that learns embodiment-agnostic skill representations from large-scale cross-embodiment video data without any labels, enabling skills extracted from human video prompts to effectively transfer to robot policies trained only on robot data. Our experiments in both simulation and real-world environments show that our cross-embodiment skills successfully guide robots in selecting appropriate actions, even with unseen video prompts. The project website can be found at: https://kimhanjung.github.io/UniSkill.