UniSkill: Nachahmung menschlicher Videos durch cross-embodiment Fähigkeitsrepräsentationen

UniSkill: Imitating Human Videos via Cross-Embodiment Skill Representations

May 13, 2025

Autoren: Hanjung Kim, Jaehyun Kang, Hyolim Kang, Meedeum Cho, Seon Joo Kim, Youngwoon Lee

cs.AI

Zusammenfassung

Nachahmung ist ein grundlegender Lernmechanismus beim Menschen, der es Individuen ermöglicht, neue Aufgaben durch Beobachtung und Imitation von Experten zu erlernen. Die Anwendung dieser Fähigkeit auf Roboter stellt jedoch erhebliche Herausforderungen dar, da es inhärente Unterschiede zwischen der menschlichen und der robotischen Verkörperung gibt, sowohl in Bezug auf das visuelle Erscheinungsbild als auch auf die physischen Fähigkeiten. Während frühere Methoden diese Lücke durch die Verwendung von Datensätzen mit gemeinsamen Szenen und Aufgaben über verschiedene Verkörperungen hinweg überbrücken, ist die Sammlung solcher abgestimmten Daten zwischen Menschen und Robotern in großem Maßstab nicht trivial. In diesem Artikel stellen wir UniSkill vor, ein neuartiges Framework, das verkörperungsunabhängige Fähigkeitsrepräsentationen aus groß angelegten, verkörperungsübergreifenden Videodaten ohne jegliche Labels lernt. Dadurch können Fähigkeiten, die aus menschlichen Videoanweisungen extrahiert werden, effektiv auf Roboterrichtlinien übertragen werden, die ausschließlich auf Roboterdaten trainiert wurden. Unsere Experimente in simulierten und realen Umgebungen zeigen, dass unsere verkörperungsübergreifenden Fähigkeiten Roboter erfolgreich bei der Auswahl geeigneter Aktionen leiten, selbst bei unbekannten Videoanweisungen. Die Projektwebsite ist unter folgender Adresse zu finden: https://kimhanjung.github.io/UniSkill.

English

Mimicry is a fundamental learning mechanism in humans, enabling individuals to learn new tasks by observing and imitating experts. However, applying this ability to robots presents significant challenges due to the inherent differences between human and robot embodiments in both their visual appearance and physical capabilities. While previous methods bridge this gap using cross-embodiment datasets with shared scenes and tasks, collecting such aligned data between humans and robots at scale is not trivial. In this paper, we propose UniSkill, a novel framework that learns embodiment-agnostic skill representations from large-scale cross-embodiment video data without any labels, enabling skills extracted from human video prompts to effectively transfer to robot policies trained only on robot data. Our experiments in both simulation and real-world environments show that our cross-embodiment skills successfully guide robots in selecting appropriate actions, even with unseen video prompts. The project website can be found at: https://kimhanjung.github.io/UniSkill.