RP1M: Ein umfangreiches Bewegungsdatenset für Klavierspiel mit bi-manuellen geschickten Roboterhänden.

RP1M: A Large-Scale Motion Dataset for Piano Playing with Bi-Manual Dexterous Robot Hands

August 20, 2024

Autoren: Yi Zhao, Le Chen, Jan Schneider, Quankai Gao, Juho Kannala, Bernhard Schölkopf, Joni Pajarinen, Dieter Büchler

cs.AI

Zusammenfassung

Es war ein langjähriges Forschungsziel, Roboterhänden menschenähnliche Geschicklichkeit zu verleihen. Das bi-manuelle Roboterpianospielen stellt eine Aufgabe dar, die Herausforderungen aus dynamischen Aufgaben, wie dem Generieren schneller und präziser Bewegungen, mit langsameren, aber kontaktreichen Manipulationsproblemen kombiniert. Obwohl auf Verstärkungslernen basierende Ansätze vielversprechende Ergebnisse in der Einzelaufgabenleistung gezeigt haben, haben diese Methoden Schwierigkeiten in einer Multi-Song-Umgebung. Unsere Arbeit zielt darauf ab, diese Lücke zu schließen und damit Imitationslernansätzen für das Roboterpianospielen im großen Maßstab zu ermöglichen. Zu diesem Zweck führen wir den Robot Piano 1 Million (RP1M) Datensatz ein, der bi-manuelle Roboterklavierbewegungsdaten von mehr als einer Million Trajektorien enthält. Wir formulieren Fingerplatzierungen als ein optimales Transportproblem, was die automatische Annotation großer Mengen unbeschrifteter Lieder ermöglicht. Die Bewertung bestehender Imitationslernansätze zeigt, dass solche Ansätze durch die Nutzung von RP1M eine Spitzenleistung im Roboterklavierspielen erreichen.

English

It has been a long-standing research goal to endow robot hands with human-level dexterity. Bi-manual robot piano playing constitutes a task that combines challenges from dynamic tasks, such as generating fast while precise motions, with slower but contact-rich manipulation problems. Although reinforcement learning based approaches have shown promising results in single-task performance, these methods struggle in a multi-song setting. Our work aims to close this gap and, thereby, enable imitation learning approaches for robot piano playing at scale. To this end, we introduce the Robot Piano 1 Million (RP1M) dataset, containing bi-manual robot piano playing motion data of more than one million trajectories. We formulate finger placements as an optimal transport problem, thus, enabling automatic annotation of vast amounts of unlabeled songs. Benchmarking existing imitation learning approaches shows that such approaches reach state-of-the-art robot piano playing performance by leveraging RP1M.