Synchroniseer Dubbele Handen voor Fysica-Gebaseerd Handig Gitaarspel

Synchronize Dual Hands for Physics-Based Dexterous Guitar Playing

September 25, 2024

Auteurs: Pei Xu, Ruocheng Wang

cs.AI

Samenvatting

We presenteren een nieuwe benadering om behendige bewegingen te synthetiseren voor fysiek gesimuleerde handen in taken die coördinatie vereisen tussen de controle van twee handen met hoge temporele precisie. In plaats van direct een gezamenlijk beleid te leren om twee handen te besturen, voert onze benadering bimanuele controle uit via coöperatief leren waarbij elke hand als een individuele agent wordt behandeld. De individuele beleidslijnen voor elke hand worden eerst afzonderlijk getraind en vervolgens gesynchroniseerd door manipulatie van latente ruimte in een gecentraliseerde omgeving om te dienen als een gezamenlijk beleid voor de controle van twee handen. Op deze manier vermijden we direct beleidslernen uit te voeren in de gezamenlijke toestandsactieruimte van twee handen met hogere dimensies, wat de algehele trainingsefficiëntie aanzienlijk verbetert. We tonen de effectiviteit van onze voorgestelde benadering in de uitdagende taak van gitaarspelen. De virtuele gitarist getraind door onze benadering kan bewegingen synthetiseren uit ongestructureerde referentiegegevens van algemene gitaarspeelpraktijkmoties en nauwkeurig diverse ritmes spelen met complexe akkoordindruk- en snaarplukpatronen op basis van de invoer gitaartabs die niet in de referenties voorkomen. Samen met dit artikel verstrekken we de motion capture-gegevens die we hebben verzameld als referentie voor beleidstraining. De code is beschikbaar op: https://pei-xu.github.io/guitar.

English

We present a novel approach to synthesize dexterous motions for physically simulated hands in tasks that require coordination between the control of two hands with high temporal precision. Instead of directly learning a joint policy to control two hands, our approach performs bimanual control through cooperative learning where each hand is treated as an individual agent. The individual policies for each hand are first trained separately, and then synchronized through latent space manipulation in a centralized environment to serve as a joint policy for two-hand control. By doing so, we avoid directly performing policy learning in the joint state-action space of two hands with higher dimensions, greatly improving the overall training efficiency. We demonstrate the effectiveness of our proposed approach in the challenging guitar-playing task. The virtual guitarist trained by our approach can synthesize motions from unstructured reference data of general guitar-playing practice motions, and accurately play diverse rhythms with complex chord pressing and string picking patterns based on the input guitar tabs that do not exist in the references. Along with this paper, we provide the motion capture data that we collected as the reference for policy training. Code is available at: https://pei-xu.github.io/guitar.