RP1M: Um Conjunto de Dados de Movimento em Grande Escala para Tocar Piano com Mãos de Robôs Bímanuais Hábeis

RP1M: A Large-Scale Motion Dataset for Piano Playing with Bi-Manual Dexterous Robot Hands

August 20, 2024

Autores: Yi Zhao, Le Chen, Jan Schneider, Quankai Gao, Juho Kannala, Bernhard Schölkopf, Joni Pajarinen, Dieter Büchler

cs.AI

Resumo

Tem sido um objetivo de pesquisa de longa data dotar as mãos de robôs com destreza em nível humano. Tocar piano com robôs bimanuais constitui uma tarefa que combina desafios de tarefas dinâmicas, como gerar movimentos rápidos e precisos, com problemas de manipulação mais lentos, porém ricos em contato. Embora abordagens baseadas em aprendizado por reforço tenham mostrado resultados promissores em desempenho de tarefas individuais, esses métodos enfrentam dificuldades em um cenário de várias músicas. Nosso trabalho visa fechar essa lacuna e, assim, permitir abordagens de aprendizado por imitação para tocar piano com robôs em grande escala. Para isso, apresentamos o conjunto de dados Robot Piano 1 Milhão (RP1M), contendo dados de movimento de tocar piano com robôs bimanuais de mais de um milhão de trajetórias. Formulamos posicionamentos dos dedos como um problema de transporte ótimo, possibilitando a anotação automática de vastas quantidades de músicas não rotuladas. A avaliação de abordagens existentes de aprendizado por imitação mostra que tais abordagens alcançam desempenho de tocar piano com robôs de última geração ao aproveitar o RP1M.

English

It has been a long-standing research goal to endow robot hands with human-level dexterity. Bi-manual robot piano playing constitutes a task that combines challenges from dynamic tasks, such as generating fast while precise motions, with slower but contact-rich manipulation problems. Although reinforcement learning based approaches have shown promising results in single-task performance, these methods struggle in a multi-song setting. Our work aims to close this gap and, thereby, enable imitation learning approaches for robot piano playing at scale. To this end, we introduce the Robot Piano 1 Million (RP1M) dataset, containing bi-manual robot piano playing motion data of more than one million trajectories. We formulate finger placements as an optimal transport problem, thus, enabling automatic annotation of vast amounts of unlabeled songs. Benchmarking existing imitation learning approaches shows that such approaches reach state-of-the-art robot piano playing performance by leveraging RP1M.