RP1M: Een grootschalige bewegingsdataset voor pianospelen met behendige robotarmen voor beide handen

RP1M: A Large-Scale Motion Dataset for Piano Playing with Bi-Manual Dexterous Robot Hands

August 20, 2024

Auteurs: Yi Zhao, Le Chen, Jan Schneider, Quankai Gao, Juho Kannala, Bernhard Schölkopf, Joni Pajarinen, Dieter Büchler

cs.AI

Samenvatting

Het is al lang een onderzoeksdoel om robotarmen te voorzien van menselijke behendigheid. Bi-manueel pianospel door robots vormt een taak die uitdagingen combineert van dynamische taken, zoals het genereren van snelle maar precieze bewegingen, met langzamere maar contactrijke manipulatieproblemen. Hoewel op reinforcement learning gebaseerde benaderingen veelbelovende resultaten hebben laten zien in enkelvoudige taken, worstelen deze methoden in een omgeving met meerdere liedjes. Ons werk heeft als doel deze kloof te dichten en daarmee imitation learning benaderingen voor robotpianospel op grote schaal mogelijk te maken. Hiertoe introduceren we de Robot Piano 1 Miljoen (RP1M) dataset, die bi-manuele robotpianospelbewegingsgegevens bevat van meer dan een miljoen trajecten. We formuleren vingerplaatsingen als een optimaal transportprobleem, waardoor automatische annotatie van grote hoeveelheden ongelabelde liedjes mogelijk wordt. Het benchmarken van bestaande imitation learning benaderingen laat zien dat dergelijke benaderingen state-of-the-art robotpianospelprestaties bereiken door gebruik te maken van RP1M.

English

It has been a long-standing research goal to endow robot hands with human-level dexterity. Bi-manual robot piano playing constitutes a task that combines challenges from dynamic tasks, such as generating fast while precise motions, with slower but contact-rich manipulation problems. Although reinforcement learning based approaches have shown promising results in single-task performance, these methods struggle in a multi-song setting. Our work aims to close this gap and, thereby, enable imitation learning approaches for robot piano playing at scale. To this end, we introduce the Robot Piano 1 Million (RP1M) dataset, containing bi-manual robot piano playing motion data of more than one million trajectories. We formulate finger placements as an optimal transport problem, thus, enabling automatic annotation of vast amounts of unlabeled songs. Benchmarking existing imitation learning approaches shows that such approaches reach state-of-the-art robot piano playing performance by leveraging RP1M.