UniSkill : Imitation de vidéos humaines via des représentations de compétences trans-embodiment

UniSkill: Imitating Human Videos via Cross-Embodiment Skill Representations

May 13, 2025

Auteurs: Hanjung Kim, Jaehyun Kang, Hyolim Kang, Meedeum Cho, Seon Joo Kim, Youngwoon Lee

cs.AI

Résumé

Le mimétisme est un mécanisme d'apprentissage fondamental chez les humains, permettant aux individus d'acquérir de nouvelles compétences en observant et en imitant des experts. Cependant, l'application de cette capacité aux robots présente des défis importants en raison des différences intrinsèques entre les incarnations humaines et robotiques, tant en termes d'apparence visuelle que de capacités physiques. Alors que les méthodes précédentes comblent cet écart en utilisant des ensembles de données inter-embodiments avec des scènes et des tâches partagées, la collecte de telles données alignées entre humains et robots à grande échelle n'est pas triviale. Dans cet article, nous proposons UniSkill, un cadre novateur qui apprend des représentations de compétences indépendantes de l'incarnation à partir de données vidéo inter-embodiments à grande échelle sans aucune annotation, permettant ainsi aux compétences extraites de vidéos humaines de se transférer efficacement à des politiques robotiques entraînées uniquement sur des données robotiques. Nos expériences, menées à la fois en simulation et dans des environnements réels, montrent que nos compétences inter-embodiments guident avec succès les robots dans le choix d'actions appropriées, même avec des vidéos inédites. Le site web du projet est disponible à l'adresse suivante : https://kimhanjung.github.io/UniSkill.

English

Mimicry is a fundamental learning mechanism in humans, enabling individuals to learn new tasks by observing and imitating experts. However, applying this ability to robots presents significant challenges due to the inherent differences between human and robot embodiments in both their visual appearance and physical capabilities. While previous methods bridge this gap using cross-embodiment datasets with shared scenes and tasks, collecting such aligned data between humans and robots at scale is not trivial. In this paper, we propose UniSkill, a novel framework that learns embodiment-agnostic skill representations from large-scale cross-embodiment video data without any labels, enabling skills extracted from human video prompts to effectively transfer to robot policies trained only on robot data. Our experiments in both simulation and real-world environments show that our cross-embodiment skills successfully guide robots in selecting appropriate actions, even with unseen video prompts. The project website can be found at: https://kimhanjung.github.io/UniSkill.