Synchronisation des deux mains pour une pratique habile de la guitare basée sur la physique

Synchronize Dual Hands for Physics-Based Dexterous Guitar Playing

September 25, 2024

Auteurs: Pei Xu, Ruocheng Wang

cs.AI

Résumé

Nous présentons une approche novatrice pour synthétiser des mouvements habiles pour des mains simulées physiquement dans des tâches nécessitant une coordination entre le contrôle de deux mains avec une haute précision temporelle. Au lieu d'apprendre directement une politique conjointe pour contrôler les deux mains, notre approche effectue un contrôle bimanuel à travers un apprentissage coopératif où chaque main est traitée comme un agent individuel. Les politiques individuelles pour chaque main sont d'abord entraînées séparément, puis synchronisées à travers une manipulation de l'espace latent dans un environnement centralisé pour servir de politique conjointe pour le contrôle des deux mains. En agissant ainsi, nous évitons d'effectuer directement l'apprentissage de politique dans l'espace état-action conjoint des deux mains avec des dimensions plus élevées, améliorant considérablement l'efficacité globale de l'entraînement. Nous démontrons l'efficacité de notre approche proposée dans la tâche exigeante de jouer de la guitare. Le guitariste virtuel formé par notre approche peut synthétiser des mouvements à partir de données de référence non structurées de mouvements de pratique générale de jeu de guitare, et jouer avec précision des rythmes divers avec des motifs complexes de pression d'accord et de pincement de corde basés sur les tablatures de guitare en entrée qui n'existent pas dans les références. Avec cet article, nous fournissons les données de capture de mouvement que nous avons collectées comme référence pour l'entraînement de la politique. Le code est disponible sur : https://pei-xu.github.io/guitar.

English

We present a novel approach to synthesize dexterous motions for physically simulated hands in tasks that require coordination between the control of two hands with high temporal precision. Instead of directly learning a joint policy to control two hands, our approach performs bimanual control through cooperative learning where each hand is treated as an individual agent. The individual policies for each hand are first trained separately, and then synchronized through latent space manipulation in a centralized environment to serve as a joint policy for two-hand control. By doing so, we avoid directly performing policy learning in the joint state-action space of two hands with higher dimensions, greatly improving the overall training efficiency. We demonstrate the effectiveness of our proposed approach in the challenging guitar-playing task. The virtual guitarist trained by our approach can synthesize motions from unstructured reference data of general guitar-playing practice motions, and accurately play diverse rhythms with complex chord pressing and string picking patterns based on the input guitar tabs that do not exist in the references. Along with this paper, we provide the motion capture data that we collected as the reference for policy training. Code is available at: https://pei-xu.github.io/guitar.