UniSkill: Imitando Vídeos Humanos por meio de Representações de Habilidades Transcorporais

UniSkill: Imitating Human Videos via Cross-Embodiment Skill Representations

May 13, 2025

Autores: Hanjung Kim, Jaehyun Kang, Hyolim Kang, Meedeum Cho, Seon Joo Kim, Youngwoon Lee

cs.AI

Resumo

A mímica é um mecanismo fundamental de aprendizado em humanos, permitindo que indivíduos aprendam novas tarefas ao observar e imitar especialistas. No entanto, aplicar essa habilidade a robôs apresenta desafios significativos devido às diferenças inerentes entre as formas de atuação humana e robótica, tanto em sua aparência visual quanto em suas capacidades físicas. Embora métodos anteriores tenham buscado preencher essa lacuna utilizando conjuntos de dados de cenas e tarefas compartilhadas entre diferentes formas de atuação, coletar dados alinhados entre humanos e robôs em grande escala não é trivial. Neste artigo, propomos o UniSkill, uma estrutura inovadora que aprende representações de habilidades independentes da forma de atuação a partir de dados de vídeo em grande escala sem qualquer rotulação, permitindo que habilidades extraídas de prompts de vídeo humanos sejam efetivamente transferidas para políticas de robôs treinadas apenas com dados robóticos. Nossos experimentos, tanto em ambientes simulados quanto no mundo real, mostram que nossas habilidades de atuação cruzada orientam com sucesso os robôs na seleção de ações apropriadas, mesmo com prompts de vídeo nunca vistos. O site do projeto pode ser encontrado em: https://kimhanjung.github.io/UniSkill.

English

Mimicry is a fundamental learning mechanism in humans, enabling individuals to learn new tasks by observing and imitating experts. However, applying this ability to robots presents significant challenges due to the inherent differences between human and robot embodiments in both their visual appearance and physical capabilities. While previous methods bridge this gap using cross-embodiment datasets with shared scenes and tasks, collecting such aligned data between humans and robots at scale is not trivial. In this paper, we propose UniSkill, a novel framework that learns embodiment-agnostic skill representations from large-scale cross-embodiment video data without any labels, enabling skills extracted from human video prompts to effectively transfer to robot policies trained only on robot data. Our experiments in both simulation and real-world environments show that our cross-embodiment skills successfully guide robots in selecting appropriate actions, even with unseen video prompts. The project website can be found at: https://kimhanjung.github.io/UniSkill.