RP1M: Большой набор данных по движениям для игры на пианино с бимануальными ловкими роботизированными руками.

RP1M: A Large-Scale Motion Dataset for Piano Playing with Bi-Manual Dexterous Robot Hands

August 20, 2024

Авторы: Yi Zhao, Le Chen, Jan Schneider, Quankai Gao, Juho Kannala, Bernhard Schölkopf, Joni Pajarinen, Dieter Büchler

cs.AI

Аннотация

Долгое время целью исследований было наделить роботов руками с декстритетом на уровне человека. Игра на пианино бимануальным роботом представляет собой задачу, которая объединяет вызовы динамических задач, таких как генерация быстрых и точных движений, с медленными, но богатыми контактами проблемами манипуляции. Хотя подходы на основе обучения с подкреплением показали многообещающие результаты в выполнении однотипных задач, эти методы испытывают трудности в многопесенном сценарии. Наша работа направлена на заполнение этого разрыва и, таким образом, обеспечение подходов к обучению имитации для игры на пианино роботом в масштабе. Для этого мы представляем набор данных Robot Piano 1 Million (RP1M), содержащий данные о движениях бимануального робота, играющего на пианино, более чем один миллион траекторий. Мы формулируем размещение пальцев как задачу оптимальной транспортировки, тем самым обеспечивая автоматическую аннотацию огромного количества не помеченных песен. Проведение сравнительного анализа существующих подходов к обучению имитации показывает, что такие подходы достигают современного уровня производительности робота при игре на пианино, используя RP1M.

English

It has been a long-standing research goal to endow robot hands with human-level dexterity. Bi-manual robot piano playing constitutes a task that combines challenges from dynamic tasks, such as generating fast while precise motions, with slower but contact-rich manipulation problems. Although reinforcement learning based approaches have shown promising results in single-task performance, these methods struggle in a multi-song setting. Our work aims to close this gap and, thereby, enable imitation learning approaches for robot piano playing at scale. To this end, we introduce the Robot Piano 1 Million (RP1M) dataset, containing bi-manual robot piano playing motion data of more than one million trajectories. We formulate finger placements as an optimal transport problem, thus, enabling automatic annotation of vast amounts of unlabeled songs. Benchmarking existing imitation learning approaches shows that such approaches reach state-of-the-art robot piano playing performance by leveraging RP1M.