Sincronizzare le Mani Duali per suonare la chitarra in modo abile basato sulla fisica

Synchronize Dual Hands for Physics-Based Dexterous Guitar Playing

September 25, 2024

Autori: Pei Xu, Ruocheng Wang

cs.AI

Abstract

Presentiamo un nuovo approccio per sintetizzare movimenti destri per mani simulate fisicamente in compiti che richiedono coordinazione nel controllo di due mani con alta precisione temporale. Invece di apprendere direttamente una politica congiunta per controllare due mani, il nostro approccio esegue il controllo bimanuale attraverso l'apprendimento cooperativo in cui ogni mano è trattata come un agente individuale. Le politiche individuali per ciascuna mano vengono prima addestrate separatamente e poi sincronizzate attraverso la manipolazione dello spazio latente in un ambiente centralizzato per fungere da politica congiunta per il controllo a due mani. In questo modo, evitiamo di eseguire direttamente l'apprendimento della politica nello spazio azione-stato congiunto delle due mani con dimensioni superiori, migliorando notevolmente l'efficienza complessiva dell'addestramento. Dimostriamo l'efficacia del nostro approccio proposto nel complesso compito di suonare la chitarra. Il chitarrista virtuale addestrato con il nostro approccio può sintetizzare movimenti da dati di riferimento non strutturati di movimenti generali di pratica della chitarra e suonare con precisione ritmi diversi con complessi schemi di pressione degli accordi e pizzicato delle corde basati sulle schede della chitarra in ingresso che non esistono nei riferimenti. Insieme a questo articolo, forniamo i dati di acquisizione del movimento che abbiamo raccolto come riferimento per l'addestramento della politica. Il codice è disponibile su: https://pei-xu.github.io/guitar.

English

We present a novel approach to synthesize dexterous motions for physically simulated hands in tasks that require coordination between the control of two hands with high temporal precision. Instead of directly learning a joint policy to control two hands, our approach performs bimanual control through cooperative learning where each hand is treated as an individual agent. The individual policies for each hand are first trained separately, and then synchronized through latent space manipulation in a centralized environment to serve as a joint policy for two-hand control. By doing so, we avoid directly performing policy learning in the joint state-action space of two hands with higher dimensions, greatly improving the overall training efficiency. We demonstrate the effectiveness of our proposed approach in the challenging guitar-playing task. The virtual guitarist trained by our approach can synthesize motions from unstructured reference data of general guitar-playing practice motions, and accurately play diverse rhythms with complex chord pressing and string picking patterns based on the input guitar tabs that do not exist in the references. Along with this paper, we provide the motion capture data that we collected as the reference for policy training. Code is available at: https://pei-xu.github.io/guitar.