RP1M: 이지능 로봇 손으로 피아노 연주하는 대규모 동작 데이터셋

RP1M: A Large-Scale Motion Dataset for Piano Playing with Bi-Manual Dexterous Robot Hands

August 20, 2024

저자: Yi Zhao, Le Chen, Jan Schneider, Quankai Gao, Juho Kannala, Bernhard Schölkopf, Joni Pajarinen, Dieter Büchler

cs.AI

초록

로봇 손에 인간 수준의 민첩성을 부여하는 것은 오랜 연구 목표였습니다. 이중 로봇 피아노 연주는 빠르면서도 정확한 동작을 생성하는 동적 작업과 더딘 접촉이 풍부한 조작 문제를 결합한 작업입니다. 강화 학습 기반 접근법은 단일 작업 성능에서 유망한 결과를 보여주었지만, 이러한 방법은 다수의 곡을 다루는 다중 노래 설정에서 어려움을 겪습니다. 저희 연구는 이 간극을 줄이고, 이에 따라 규모에 맞는 로봇 피아노 연주를 위한 모방 학습 접근법을 가능하게 하는 것을 목표로 합니다. 이를 위해, 100만 개 이상의 궤적을 포함하는 이중 로봇 피아노 연주 모션 데이터 세트인 로봇 피아노 1백만(RP1M) 데이터 세트를 소개합니다. 우리는 손가락 위치를 최적 운송 문제로 정의하여 수많은 미표시 노래를 자동으로 주석 달 수 있게 합니다. 기존의 모방 학습 접근법을 벤치마킹한 결과, RP1M을 활용하여 이러한 접근법이 최첨단 로봇 피아노 연주 성능에 도달함을 보여줍니다.

English

It has been a long-standing research goal to endow robot hands with human-level dexterity. Bi-manual robot piano playing constitutes a task that combines challenges from dynamic tasks, such as generating fast while precise motions, with slower but contact-rich manipulation problems. Although reinforcement learning based approaches have shown promising results in single-task performance, these methods struggle in a multi-song setting. Our work aims to close this gap and, thereby, enable imitation learning approaches for robot piano playing at scale. To this end, we introduce the Robot Piano 1 Million (RP1M) dataset, containing bi-manual robot piano playing motion data of more than one million trajectories. We formulate finger placements as an optimal transport problem, thus, enabling automatic annotation of vast amounts of unlabeled songs. Benchmarking existing imitation learning approaches shows that such approaches reach state-of-the-art robot piano playing performance by leveraging RP1M.