RP1M: Un Ampio Dataset di Movimenti per l'Esecuzione Pianistica con Mani Robotizzate Bi-Manuali e Deftrose

RP1M: A Large-Scale Motion Dataset for Piano Playing with Bi-Manual Dexterous Robot Hands

August 20, 2024

Autori: Yi Zhao, Le Chen, Jan Schneider, Quankai Gao, Juho Kannala, Bernhard Schölkopf, Joni Pajarinen, Dieter Büchler

cs.AI

Abstract

È stato a lungo un obiettivo di ricerca dotare le mani robotiche di una destrezza paragonabile a quella umana. Suonare il piano con robot bi-manuali costituisce un compito che combina sfide provenienti da attività dinamiche, come generare movimenti rapidi ma precisi, con problemi di manipolazione più lenti ma ricchi di contatti. Sebbene gli approcci basati sull'apprendimento per rinforzo abbiano mostrato risultati promettenti in contesti di singoli compiti, questi metodi faticano in un ambiente multi-brano. Il nostro lavoro mira a colmare questa lacuna e, di conseguenza, abilitare approcci di apprendimento per imitazione per il suonare il piano con robot su larga scala. A tal fine, introduciamo il dataset Robot Piano 1 Million (RP1M), contenente dati di movimento per il suonare il piano bi-manuale con oltre un milione di traiettorie. Formuliamo il posizionamento delle dita come un problema di trasporto ottimale, consentendo così l'annotazione automatica di grandi quantità di brani non etichettati. Il benchmarking degli approcci esistenti di apprendimento per imitazione dimostra che tali approcci raggiungono prestazioni all'avanguardia nel suonare il piano con robot sfruttando RP1M.

English

It has been a long-standing research goal to endow robot hands with human-level dexterity. Bi-manual robot piano playing constitutes a task that combines challenges from dynamic tasks, such as generating fast while precise motions, with slower but contact-rich manipulation problems. Although reinforcement learning based approaches have shown promising results in single-task performance, these methods struggle in a multi-song setting. Our work aims to close this gap and, thereby, enable imitation learning approaches for robot piano playing at scale. To this end, we introduce the Robot Piano 1 Million (RP1M) dataset, containing bi-manual robot piano playing motion data of more than one million trajectories. We formulate finger placements as an optimal transport problem, thus, enabling automatic annotation of vast amounts of unlabeled songs. Benchmarking existing imitation learning approaches shows that such approaches reach state-of-the-art robot piano playing performance by leveraging RP1M.