Synchronisieren von zwei Händen für physikbasiertes geschicktes Gitarrenspiel.

Synchronize Dual Hands for Physics-Based Dexterous Guitar Playing

September 25, 2024

Autoren: Pei Xu, Ruocheng Wang

cs.AI

Zusammenfassung

Wir präsentieren einen neuartigen Ansatz zur Synthese geschickter Bewegungen für physisch simulierte Hände bei Aufgaben, die eine Koordination zwischen der Steuerung von zwei Händen mit hoher zeitlicher Präzision erfordern. Anstatt direkt eine gemeinsame Richtlinie zum Steuern von zwei Händen zu erlernen, führt unser Ansatz eine bimanuelle Steuerung durch kooperatives Lernen durch, bei dem jede Hand als individueller Agent behandelt wird. Die individuellen Richtlinien für jede Hand werden zunächst getrennt trainiert und dann durch Manipulation des latenten Raums in einer zentralisierten Umgebung synchronisiert, um als gemeinsame Richtlinie für die Steuerung mit beiden Händen zu dienen. Auf diese Weise vermeiden wir es, das Richtlinienlernen direkt im gemeinsamen Zustands-Aktionsraum von zwei Händen mit höheren Dimensionen durchzuführen, was die Gesamt-Trainierungseffizienz erheblich verbessert. Wir zeigen die Wirksamkeit unseres vorgeschlagenen Ansatzes in der anspruchsvollen Aufgabe des Gitarrenspielens. Der virtuelle Gitarrist, der mit unserem Ansatz trainiert wurde, kann Bewegungen aus unstrukturierten Referenzdaten allgemeiner Gitarrenspielbewegungen synthetisieren und präzise verschiedene Rhythmen mit komplexen Akkorddruck- und Saitenanschlagsmustern basierend auf den Eingabe-Gitarrentabs spielen, die in den Referenzen nicht vorhanden sind. Zusammen mit diesem Papier stellen wir die von uns gesammelten Motion-Capture-Daten als Referenz für das Richtlinientraining zur Verfügung. Der Code ist verfügbar unter: https://pei-xu.github.io/guitar.

English

We present a novel approach to synthesize dexterous motions for physically simulated hands in tasks that require coordination between the control of two hands with high temporal precision. Instead of directly learning a joint policy to control two hands, our approach performs bimanual control through cooperative learning where each hand is treated as an individual agent. The individual policies for each hand are first trained separately, and then synchronized through latent space manipulation in a centralized environment to serve as a joint policy for two-hand control. By doing so, we avoid directly performing policy learning in the joint state-action space of two hands with higher dimensions, greatly improving the overall training efficiency. We demonstrate the effectiveness of our proposed approach in the challenging guitar-playing task. The virtual guitarist trained by our approach can synthesize motions from unstructured reference data of general guitar-playing practice motions, and accurately play diverse rhythms with complex chord pressing and string picking patterns based on the input guitar tabs that do not exist in the references. Along with this paper, we provide the motion capture data that we collected as the reference for policy training. Code is available at: https://pei-xu.github.io/guitar.