RP1M：両手器用ロボットハンドによるピアノ演奏のための大規模モーションデータセット

RP1M: A Large-Scale Motion Dataset for Piano Playing with Bi-Manual Dexterous Robot Hands

August 20, 2024

著者: Yi Zhao, Le Chen, Jan Schneider, Quankai Gao, Juho Kannala, Bernhard Schölkopf, Joni Pajarinen, Dieter Büchler

cs.AI

要旨

ロボットハンドに人間レベルの器用さを付与することは、長年にわたる研究目標となってきた。両手によるロボットピアノ演奏は、高速かつ精密な動作の生成といった動的な課題と、低速だが接触の多い操作問題を組み合わせたタスクである。強化学習ベースのアプローチは単一タスクでの性能において有望な結果を示しているものの、複数曲の設定では苦戦している。本研究はこのギャップを埋め、ロボットピアノ演奏における模倣学習アプローチの大規模な適用を可能にすることを目指している。そのために、100万以上の軌跡を含む両手ロボットピアノ演奏のモーションデータを収録したRobot Piano 1 Million（RP1M）データセットを導入する。指の配置を最適輸送問題として定式化することで、大量の未ラベル曲の自動注釈を可能にした。既存の模倣学習アプローチのベンチマークを行った結果、RP1Mを活用することで、これらのアプローチが最先端のロボットピアノ演奏性能を達成することが示された。

English

It has been a long-standing research goal to endow robot hands with human-level dexterity. Bi-manual robot piano playing constitutes a task that combines challenges from dynamic tasks, such as generating fast while precise motions, with slower but contact-rich manipulation problems. Although reinforcement learning based approaches have shown promising results in single-task performance, these methods struggle in a multi-song setting. Our work aims to close this gap and, thereby, enable imitation learning approaches for robot piano playing at scale. To this end, we introduce the Robot Piano 1 Million (RP1M) dataset, containing bi-manual robot piano playing motion data of more than one million trajectories. We formulate finger placements as an optimal transport problem, thus, enabling automatic annotation of vast amounts of unlabeled songs. Benchmarking existing imitation learning approaches shows that such approaches reach state-of-the-art robot piano playing performance by leveraging RP1M.