RP1M: Un conjunto de datos de gran escala sobre movimientos para tocar el piano con manos de robot bimanuales hábiles.

RP1M: A Large-Scale Motion Dataset for Piano Playing with Bi-Manual Dexterous Robot Hands

August 20, 2024

Autores: Yi Zhao, Le Chen, Jan Schneider, Quankai Gao, Juho Kannala, Bernhard Schölkopf, Joni Pajarinen, Dieter Büchler

cs.AI

Resumen

Ha sido un objetivo de investigación de larga data dotar a las manos de robots con destreza a nivel humano. La interpretación de piano por robots bimanuales constituye una tarea que combina desafíos de tareas dinámicas, como generar movimientos rápidos y precisos, con problemas de manipulación más lentos pero ricos en contacto. Aunque los enfoques basados en aprendizaje por refuerzo han mostrado resultados prometedores en el rendimiento de tareas individuales, estos métodos tienen dificultades en un entorno de múltiples canciones. Nuestro trabajo tiene como objetivo cerrar esta brecha y, por lo tanto, permitir enfoques de aprendizaje por imitación para la interpretación de piano por robots a gran escala. Con este fin, presentamos el conjunto de datos Robot Piano 1 Millón (RP1M), que contiene datos de movimiento de interpretación de piano por robots bimanuales de más de un millón de trayectorias. Formulamos la colocación de los dedos como un problema de transporte óptimo, lo que permite la anotación automática de grandes cantidades de canciones no etiquetadas. La evaluación de los enfoques existentes de aprendizaje por imitación muestra que dichos enfoques alcanzan un rendimiento de interpretación de piano por robots de vanguardia al aprovechar RP1M.

English

It has been a long-standing research goal to endow robot hands with human-level dexterity. Bi-manual robot piano playing constitutes a task that combines challenges from dynamic tasks, such as generating fast while precise motions, with slower but contact-rich manipulation problems. Although reinforcement learning based approaches have shown promising results in single-task performance, these methods struggle in a multi-song setting. Our work aims to close this gap and, thereby, enable imitation learning approaches for robot piano playing at scale. To this end, we introduce the Robot Piano 1 Million (RP1M) dataset, containing bi-manual robot piano playing motion data of more than one million trajectories. We formulate finger placements as an optimal transport problem, thus, enabling automatic annotation of vast amounts of unlabeled songs. Benchmarking existing imitation learning approaches shows that such approaches reach state-of-the-art robot piano playing performance by leveraging RP1M.