物理ベースの巧みなギター演奏のためのデュアルハンドの同期

Synchronize Dual Hands for Physics-Based Dexterous Guitar Playing

September 25, 2024

著者: Pei Xu, Ruocheng Wang

cs.AI

要旨

物理シミュレートされた手の器用な動きを合成する革新的なアプローチを提案します。高い時間的精度を要する課題において、2つの手の制御の間で調整が必要なタスクにおいて、2つの手の制御を直接学習するのではなく、各手を個別のエージェントとして扱い、協力学習を通じて双手制御を行う当該アプローチを実行します。各手の個別のポリシーはまず別々にトレーニングされ、その後、中央集権的な環境で潜在空間の操作を通じて同期され、2つの手の制御のための共同ポリシーとして機能します。これにより、2つの手の高次元の共同状態行動空間でのポリシー学習を直接行うことを回避し、全体的なトレーニング効率を大幅に向上させます。提案されたアプローチの効果を、難しいギター演奏タスクで示します。当該アプローチによってトレーニングされた仮想ギタリストは、一般的なギター演奏練習の動きの非構造化参照データから動きを合成し、参照データに存在しない入力ギタータブに基づいて複雑なコード押さえやストリングピッキングパターンを正確に演奏できます。本論文とともに、ポリシートレーニングのための参照として収集したモーションキャプチャデータを提供します。コードはこちらで入手可能：https://pei-xu.github.io/guitar。

English

We present a novel approach to synthesize dexterous motions for physically simulated hands in tasks that require coordination between the control of two hands with high temporal precision. Instead of directly learning a joint policy to control two hands, our approach performs bimanual control through cooperative learning where each hand is treated as an individual agent. The individual policies for each hand are first trained separately, and then synchronized through latent space manipulation in a centralized environment to serve as a joint policy for two-hand control. By doing so, we avoid directly performing policy learning in the joint state-action space of two hands with higher dimensions, greatly improving the overall training efficiency. We demonstrate the effectiveness of our proposed approach in the challenging guitar-playing task. The virtual guitarist trained by our approach can synthesize motions from unstructured reference data of general guitar-playing practice motions, and accurately play diverse rhythms with complex chord pressing and string picking patterns based on the input guitar tabs that do not exist in the references. Along with this paper, we provide the motion capture data that we collected as the reference for policy training. Code is available at: https://pei-xu.github.io/guitar.