UniSkill: Imitación de videos humanos mediante representaciones de habilidades de encarnación cruzada

UniSkill: Imitating Human Videos via Cross-Embodiment Skill Representations

May 13, 2025

Autores: Hanjung Kim, Jaehyun Kang, Hyolim Kang, Meedeum Cho, Seon Joo Kim, Youngwoon Lee

cs.AI

Resumen

La mímica es un mecanismo fundamental de aprendizaje en los seres humanos, permitiendo a los individuos aprender nuevas tareas observando e imitando a expertos. Sin embargo, aplicar esta capacidad a los robots presenta desafíos significativos debido a las diferencias inherentes entre las formas de los humanos y los robots, tanto en su apariencia visual como en sus capacidades físicas. Si bien métodos anteriores abordan esta brecha utilizando conjuntos de datos de múltiples formas con escenas y tareas compartidas, recolectar datos alineados a gran escala entre humanos y robots no es trivial. En este artículo, proponemos UniSkill, un marco novedoso que aprende representaciones de habilidades independientes de la forma a partir de datos de video a gran escala de múltiples formas, sin necesidad de etiquetas, permitiendo que las habilidades extraídas de videos humanos se transfieran efectivamente a políticas de robots entrenadas únicamente con datos de robots. Nuestros experimentos, tanto en entornos simulados como en el mundo real, muestran que nuestras habilidades de múltiples formas guían con éxito a los robots en la selección de acciones apropiadas, incluso con videos no vistos previamente. El sitio web del proyecto se puede encontrar en: https://kimhanjung.github.io/UniSkill.

English

Mimicry is a fundamental learning mechanism in humans, enabling individuals to learn new tasks by observing and imitating experts. However, applying this ability to robots presents significant challenges due to the inherent differences between human and robot embodiments in both their visual appearance and physical capabilities. While previous methods bridge this gap using cross-embodiment datasets with shared scenes and tasks, collecting such aligned data between humans and robots at scale is not trivial. In this paper, we propose UniSkill, a novel framework that learns embodiment-agnostic skill representations from large-scale cross-embodiment video data without any labels, enabling skills extracted from human video prompts to effectively transfer to robot policies trained only on robot data. Our experiments in both simulation and real-world environments show that our cross-embodiment skills successfully guide robots in selecting appropriate actions, even with unseen video prompts. The project website can be found at: https://kimhanjung.github.io/UniSkill.