RP1M : Un ensemble de données sur les mouvements à grande échelle pour jouer du piano avec des mains de robot bimanuelles habiles

RP1M: A Large-Scale Motion Dataset for Piano Playing with Bi-Manual Dexterous Robot Hands

August 20, 2024

Auteurs: Yi Zhao, Le Chen, Jan Schneider, Quankai Gao, Juho Kannala, Bernhard Schölkopf, Joni Pajarinen, Dieter Büchler

cs.AI

Résumé

Il a longtemps été un objectif de recherche de doter les mains des robots d'une dextérité de niveau humain. Jouer du piano avec un robot bimanuel constitue une tâche qui combine des défis issus de tâches dynamiques, tels que la génération de mouvements rapides et précis, avec des problèmes de manipulation plus lents mais riches en contacts. Bien que les approches basées sur l'apprentissage par renforcement aient montré des résultats prometteurs en termes de performances sur des tâches uniques, ces méthodes rencontrent des difficultés dans un cadre multi-chansons. Notre travail vise à combler ce fossé et, par conséquent, à permettre des approches d'apprentissage par imitation pour jouer du piano avec un robot à grande échelle. À cette fin, nous introduisons l'ensemble de données Robot Piano 1 Million (RP1M), contenant des données de mouvement de jeu de piano robotique bimanuel de plus d'un million de trajectoires. Nous formulons les emplacements des doigts comme un problème de transport optimal, permettant ainsi l'annotation automatique de vastes quantités de chansons non étiquetées. La comparaison des approches d'apprentissage par imitation existantes montre que de telles approches atteignent des performances de jeu de piano robotique de pointe en exploitant RP1M.

English

It has been a long-standing research goal to endow robot hands with human-level dexterity. Bi-manual robot piano playing constitutes a task that combines challenges from dynamic tasks, such as generating fast while precise motions, with slower but contact-rich manipulation problems. Although reinforcement learning based approaches have shown promising results in single-task performance, these methods struggle in a multi-song setting. Our work aims to close this gap and, thereby, enable imitation learning approaches for robot piano playing at scale. To this end, we introduce the Robot Piano 1 Million (RP1M) dataset, containing bi-manual robot piano playing motion data of more than one million trajectories. We formulate finger placements as an optimal transport problem, thus, enabling automatic annotation of vast amounts of unlabeled songs. Benchmarking existing imitation learning approaches shows that such approaches reach state-of-the-art robot piano playing performance by leveraging RP1M.