UniSkill: Имитация человеческих видео через кросс-эмбодиментные представления навыков

UniSkill: Imitating Human Videos via Cross-Embodiment Skill Representations

May 13, 2025

Авторы: Hanjung Kim, Jaehyun Kang, Hyolim Kang, Meedeum Cho, Seon Joo Kim, Youngwoon Lee

cs.AI

Аннотация

Мимезис является фундаментальным механизмом обучения у людей, позволяющим осваивать новые задачи через наблюдение и подражание экспертам. Однако применение этой способности к роботам сопряжено со значительными трудностями из-за принципиальных различий между человеческим и роботизированным воплощением, как в визуальном облике, так и в физических возможностях. Хотя предыдущие методы преодолевают этот разрыв с использованием кросс-воплощенных наборов данных с общими сценами и задачами, сбор таких согласованных данных между людьми и роботами в больших масштабах является нетривиальной задачей. В данной работе мы предлагаем UniSkill — новый фреймворк, который обучает воплощенно-независимые представления навыков на основе крупномасштабных кросс-воплощенных видеоданных без каких-либо меток, что позволяет эффективно переносить навыки, извлеченные из видеоподсказок человека, на политики роботов, обученные только на данных роботов. Наши эксперименты как в симуляции, так и в реальных условиях показывают, что кросс-воплощенные навыки успешно направляют роботов в выборе подходящих действий, даже с использованием ранее не встречавшихся видеоподсказок. Проектный веб-сайт доступен по адресу: https://kimhanjung.github.io/UniSkill.

English

Mimicry is a fundamental learning mechanism in humans, enabling individuals to learn new tasks by observing and imitating experts. However, applying this ability to robots presents significant challenges due to the inherent differences between human and robot embodiments in both their visual appearance and physical capabilities. While previous methods bridge this gap using cross-embodiment datasets with shared scenes and tasks, collecting such aligned data between humans and robots at scale is not trivial. In this paper, we propose UniSkill, a novel framework that learns embodiment-agnostic skill representations from large-scale cross-embodiment video data without any labels, enabling skills extracted from human video prompts to effectively transfer to robot policies trained only on robot data. Our experiments in both simulation and real-world environments show that our cross-embodiment skills successfully guide robots in selecting appropriate actions, even with unseen video prompts. The project website can be found at: https://kimhanjung.github.io/UniSkill.