UniSkill: Imitazione di Video Umani tramite Rappresentazioni di Abilità Cross-Embodiment

UniSkill: Imitating Human Videos via Cross-Embodiment Skill Representations

May 13, 2025

Autori: Hanjung Kim, Jaehyun Kang, Hyolim Kang, Meedeum Cho, Seon Joo Kim, Youngwoon Lee

cs.AI

Abstract

La mimesi è un meccanismo di apprendimento fondamentale negli esseri umani, che consente agli individui di imparare nuovi compiti osservando e imitando esperti. Tuttavia, applicare questa abilità ai robot presenta sfide significative a causa delle differenze intrinseche tra le incarnazioni umane e robotiche, sia nell'aspetto visivo che nelle capacità fisiche. Mentre i metodi precedenti colmano questo divario utilizzando dataset cross-incarnazione con scene e compiti condivisi, raccogliere dati allineati su larga scala tra esseri umani e robot non è banale. In questo articolo, proponiamo UniSkill, un nuovo framework che apprende rappresentazioni di abilità agnostiche rispetto all'incarnazione da dati video cross-incarnazione su larga scala senza alcuna etichetta, consentendo alle abilità estratte da prompt video umani di trasferirsi efficacemente a politiche robotiche addestrate solo su dati robotici. I nostri esperimenti in ambienti sia simulati che reali dimostrano che le nostre abilità cross-incarnazione guidano con successo i robot nella selezione di azioni appropriate, anche con prompt video mai visti prima. Il sito web del progetto è disponibile all'indirizzo: https://kimhanjung.github.io/UniSkill.

English

Mimicry is a fundamental learning mechanism in humans, enabling individuals to learn new tasks by observing and imitating experts. However, applying this ability to robots presents significant challenges due to the inherent differences between human and robot embodiments in both their visual appearance and physical capabilities. While previous methods bridge this gap using cross-embodiment datasets with shared scenes and tasks, collecting such aligned data between humans and robots at scale is not trivial. In this paper, we propose UniSkill, a novel framework that learns embodiment-agnostic skill representations from large-scale cross-embodiment video data without any labels, enabling skills extracted from human video prompts to effectively transfer to robot policies trained only on robot data. Our experiments in both simulation and real-world environments show that our cross-embodiment skills successfully guide robots in selecting appropriate actions, even with unseen video prompts. The project website can be found at: https://kimhanjung.github.io/UniSkill.